u013250861的博客

同理，这里的计算复杂度为n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ∗ ( n − k + 1 ) n∗(n−1)∗(n−2)∗…∗(n−k+1)，即为N!例如有三个文档π = < 1 , 2 , 3 > \pi = π= ，其排序函数计算每个文档得分为s = ( s 1 , s 2 , s 3 ) s=(s_1, s_2, s_3)s=(s。排在第一位的有n nn 种情况，排在第二位的有n − 1 n−1n−1 种情况，后面依次类推。

Siamese 网络由 2 个相同的共享参数的 CNN 组成（两个 CNN 的参数相同），每一个 CNN 处理一张图片，生成两张图片的表征，接着计算两个表征的距离，最后，使用 Pairwise Ranking Loss 来训练该网络。相似图片产生的表征的距离很小，而不相似图片的距离较大。我们用r a r_ar。训练 Triplet Ranking Loss 的重要步骤就是负样本的选择，选择负样本的策略会直接影响模型效果，很明显，Easy Triplets 的负样本需要避免，因为它们的 loss 为 0。

一 、MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。只有1和0，1代表相关，0代表不相关。例如：假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。

这个项目主要是对目前的一些基于深度学习的点击率预测算法进行了实现，如NN,WDL,DeepFM,MLR,DeepCross,AFM,NFM,DIN,DIEN,xDeepFM,AutoInt等,并且对外提供了一致的调用接口。

召回针对的是全部item，而精排针对的是召回输出的item。反过来，无法预测CTR的推荐算法并不能直接应用在计算广告系统中，因为计算广告系统需要CTR预估值有精准的物理意义来参与bidding，预算控制等模块，这里仅有相对位置的关系是远远不够的。的“本质”区别，那么我们就得往“本质”上说，什么算法原理上的区别，系统设计上的区别，应用场景上的区别，那怎么算本质的区别呢？有同学说CTR和推荐算法都有召回层，排序预估层，这算什么CTR算法和推荐算法的联系呢，这顶多算是计算广告系统和推荐系统的区别联系。

在讲 CTR 模型之前，我们首先要清楚 CTR 模型是什么，用来解决什么问题。所以我们先描述 CTR 问题，并对其进行。一个典型的架构如下图所示：一般会划分为和两层。，指的是的排序。所以 CTR 模型的候选排序集一般是千级数量。CTR 模型的输入（即训练数据）是：大量成对的 **(features, label) **数据。何为？可以看到，上面所有的 features 都是我们能够收集到的信息，其中有离散型特征（如物品 ID），也有连续型特征（如点击率）。

将召回层从原始物品集（100万个物品）粗筛出来的物品（100个物品），进一步用排序模型针对某个用户A对这100个物品进行排序，并将排序结果的前几名物品返回给用户；

用户在线最新特征：物品在线最新特征：

召回层的目的是为了快速的筛选掉绝大部分和用户兴趣无关的候选物品。那么与之相对的，排序层的作用则是尽可能精确的将召回的结果进行二次过滤，并且将其准确排序后呈现给用户。

在构建智能推荐系统时，协同过滤（Collaborative Filtering，CF）算法是一个常用的技术。 本篇文章主要介绍协同过滤算法的基本思想及其应用。矩阵分解(Matrix Factorization，MF)技术实际上就是把用户-项目评分矩阵分解为若干个部分的组合，它在 Netfilx公司举办的推荐系统大赛上得到了广泛的应用，基于矩阵分解的推荐算法本质上是一种基于模型的协同过滤推荐算法。基于矩阵分解的推荐算法,实现简单，预测准确度高,扩展性强，在一定程度上缓解了数据的稀疏性问题，但可解释性差。随着用

GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。协同过滤和矩阵分解存在的劣势就是仅利用了用户与物品相互行为信息进行推荐，忽视了用户自身特征，物品自身特征以及上下文信息等，导致生成的结果往往会比较片面。而这次介绍的这个模型是2014年由Facebook提出的GBDT+LR模型，该模型利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做LR模型的输入，来产生最后的预测结果，该模型能够综合利用用户、物品和上下文等多种不同的特征，生成较为全面

AutoRec模型是2015年由澳大利亚国立大学提出的。它将 自编码器(AutoEncoder ) 的思想和协同过滤结合，提出了一种单隐层神经网络 推荐模型。因其简洁的网络结构和清晰易懂的模型原理，AutoRec非常适合作为 深度学习推荐模型的入门模型来学习。...

2016年微软提出的深度学习Deep crossing模型就是这种结构——Deep Crossing 从下到上可以分为 5 层，分别是 Feature 层、Embedding 层、Stacking 层、MLP 层和 Scoring 层（如下图）。总结：对于类别特征，先利用Embedding层进行特征稠密化，再利用Stacking层连接其他特征，输入MLP的多层结构，最后用Scoring层预估结果。感知机是神经元的另外一种叫法，所以多层感知机就是多层神经网络。..................

ESMM模型2018年由阿里巴巴提出，发表在SIGIR2018会议上的《Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate》文章基于 Multi-Task Learning 的思路，有效解决了真实场景中CVR预估面临的数据稀疏（data sparsity，DS）以及样本选择偏差（sample selection bias，SSB）这两个关键问题。......

一般来说，大部分人见过更多的都是单任务的模型，即一个模型完成一个任务。多任务学习模型MMoE，如果第一次接触此类模型或是没有相关的研究背景的话，其实容易不太容易理解这种多任务学习的价值所在。.........

这篇文章号称极大的缓解了多任务学习中存在的两大顽疾：负迁移（negative transfer）现象和跷跷板（seesaw phenomenon），由此带来了相比较其他MTL模型比较大的性能提升。从论文呈现的实验结果也确实是这样的，但从模型结构上来看，更像是大力出奇迹，即性能的提升是由参数量变多而带来的（仅仅是个人看法~）。这篇paper能拿best paper，一方面是实验结果所呈现出来的比较大的性能提升，另一方面是数据分析做的很好，实验做的也很全，因此看起来工作做的很扎实，这是非常值得学习的地方。...

推荐系统-排序算法：MAP指标（Mean Average Precision）

沿着协同过滤的思路, 发展出了技术，将协同过滤中的共现矩阵分解为用户向量矩阵和物品向 量矩阵。其中，用户u 隐向量和物品i 隐向量的内积，就是用户u 对物品i评分 的预测。沿着矩阵分解的技术脉络，结合深度学习知识，新加坡国立大学的研究 人员于2017年提出了基于深度学习的协同过滤模型NeuralCF。...

特征值分解与PCA一个矩阵的特征值分解可以将矩阵分解为更加规则和简单的子矩阵A=PTΣP ，而且这些子矩阵从不同侧面描述了原矩阵的主要特征，如P（特征向量做列向量的矩阵）描述了新投影方向，在这个方向上A表示的线性变换速度最快，而Σ描述了对应方向上的伸缩速度。但是不是所有矩阵都可以轻易地如此分解，当且仅当A有满秩的线性无关的特征向量，才可以做这样的分解。不过，有一种特殊的矩阵——实对称矩阵，一定存在与维数相同个不等的特征值，也即存在与维数相同个线性无关且正交的特征向量。PCA也就是利用了这一结论，因

在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法。在数据分析中，我们经常会进行**非监督**学习的**聚类算法**，它可以对我们的特征数据进行非监督的聚类。而**主题模型**也是**非监督**的，目的是**得到文本按照主题的概率分布**。从这个方面来说，**主题模型**和普通的**聚类算法**非常的类似。但是两者其实还是有区别的。- 聚类算法关注于从样本特征的相似度方面将数.........

人工智能-机器学习-算法-无监督学习：Topic Model(主题模型)算法–>PLSA(Probabilistic Latent Semantic Analysis, 概率潜在语义分析)

LDA（Latent Dirichlet Allocation）模型是一种引入全概率模型的文本主题表示方法，其核心是：根据文本主题分布和主题词语分布的狄利克雷先验假设，结合词语样本信息，计算文本后验主题词语分布的贝叶斯估算过程。模型可以对语料库 DDD 中任意文本 mmm ，建模生成对应的主题概率分布：模型推导过程结合联合概率公式描述如下：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA）是由 David M. Blei、Andrew Y. Ng、Michael I