AFM（Attentional Factorization Machine）模型是CTR预估中解决FM模型局限性的方法，通过引入注意力机制捕捉特征交互的重要程度。模型在FM的基础上添加了一个注意力网络，但并未充分利用DNN的非线性能力。文章介绍了AFM的结构、工作原理及与FM的区别。
1、引言
在CTR预估中，为了解决稀疏特征的问题，学者们提出了FM模型来建模特征之间的交互关系。但是FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系，因此学者们通过Deep Network来建模更高阶的特征之间的关系。因此 FM和深度网络DNN的结合也就成为了CTR预估问题中主流的方法。有关FM和DNN的结合有两种主流的方法，并行结构和串行结构。两种结构的理解以及实现如下表所示：
图1、两种结构的理解
今天介绍的NFM模型(Neural Factorization Machine)，便是串行结构中一种较为简单的网络模型。
2、NFM模型介绍
我们首先来回顾一下FM模型，FM模型用n个隐变量来刻画特征之间的交互关系。这里要强调的一点是，n是特征的总数，是one-hot展开之后的，比如有三组特征，两个连续特征，一个离散特征有5个取值，那么n=7而不是n=3.
y ( x ) = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n < v i , v j > x i x j y(x)=w_{0}+ \sum_{i=1}^n w_{i} x_{i}+ \sum_{i=1}^{n} \sum_{j=i+1}^n <v_{i}, v_{j}> x_{i} x_{j} y(x)=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vi,
最低0.47元/天 解锁文章
373
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
