Silence的博客

推荐算法－AFM  推荐算法－AFM，这篇文章也是在FM的基础上做工作。这篇文章是针对特征之间组合时，不同的特征都是用同样的向量去做。即每一个特征和其它的特征进行组合时，都是采用同一个向量，缺乏不同特征之间的关联性不同，应该采用不同的向量。解决这个问题的一个思路就是FFM，即每一个特征针对每一个的field生成一个特征向量，即在进行特征组合时，采用不同的向量表示去做。本文是解决这个问题的另一种思...

推荐算法－NFM  FM对于特征的组合仅限于二阶，缺少对特征之间深层次关系的抽取。因此，NFM提出来就是在FM的基础上引入神经网络，实现对特征的深层次抽取。NFM的模型结构图如下所示：  模型的结构如上图所示，首先输入就是离散化的特征，然后再进行embedding操作，获得每一个特征的向量表示。接着就到了Bi-interaction Pooling层，这里其实就是FM部分。FM的公式如下图所...

推荐算法-PNN  这篇文章出自上海交大，针对直接把Embedding之后的特征输入到神经网络中进行计算对特征的交叉组合不充分而提出来的。也是对特征的组合做文章的一种方法。PNN网络结构  模型结构如下图所示：可以看出模型也是实现CTR预估任务，输入数据是对特征进行one-hot编码之后特征，然后经过一个embedding层，将输入特征映射到相同长度的特征得到上图中的embedding层...

推荐算法Deep & Cross Network  这篇文章是谷歌在2017年的一篇文章，是用在广告点击率预估上面的。从文章题目上来看，应该是包含两大块，Cross和Deep两个部分。原因应该很简单，还是在特征的组合上做文章。但是看完这篇文章之后，感觉很清爽，就是思路比较简单，而且实现起来也很方便。一、Deep & Cross Network出现的原因  前面提到了FM和De...

推荐算法-DeepFM一、DeepFM出现的原因  在FM中，采用了一阶和二阶的特征组合，相比与只使用一阶线性组合效果要好很多。但是特征组合的能力还是有限的。即特征之间组合的力度，挖掘特征之间的关联性还是较差的。在图像处理的一些方法中，模型的深度都比较深经过了很多层的非线性变换，主要的目的是为了让模型充分的学习数据的分布以及更加抽象的表示，也就是希望利用高阶的特征。在模型的深层部分得到的特征就...

FMFM出现的原因FM的求解参考FM出现的原因  FM是推荐系统中重要的方法，也有许多基于FM的变种。  FM的出现主要是为了解决线性模型的特征之间无法进行组合的问题。在LR模型中，特征之间都是独立存在的，无法体现特征之间的联系。比如有的女生喜欢化妆品，男生喜欢运动产品。单纯的使用w1∗x1+w2∗x2+..+wi∗xiw_{1}*x_{1}+w_{2}*x_{2}+..+w_{i}*x_{...