07-《Attentional Factorization Machine》

众所周知，FM通过融合了交叉特征项，提高了其线性回归模型的预测能力。在FM的交叉特征项的建模过程中，有两个特点：

1.它会将所有特征两两组合，得到所有的交叉特征项；

2.所有的交叉特征性共享或者说使用相同的权重。

但是，并不是所有的特征交叉项都是有用的，甚至于一些无用的交叉项可能会使得模型引入噪声。在实际应用中，不同的预测变量（如交叉特征项）有不同的预测能力，并不是所有特征都包含对预测结果有用的信号。有用的特征应该赋予更高的权重，无用的特征应该赋予更低的权重。

文章中认为，FM的这种对所有交叉特征项使用相同权重的做法，缺乏了其模型分辨不同特征交叉项重要性的能力，这限制了FM的预测能力。

因此，该文章提出一种新的模型：Attentional Factorization Machine（AFM）。AFM通过一个neural attention network学习出每种交叉项的重要性，改进了FM模型。

Factorization Machines

                                        

公式（1）描述了FM的计算公式。其中，。

从公式中，我们可以看到FM对特征交叉项进行建模，都是以一种相同的方式：

1. 在预测所有包含第i个特征的特征交叉项中，都使用相同的隐向量.

2. 所有预测的特征交叉项的权重皆为1.

实际上，很多时候很多特征与预测结果并不相关。文章中举了一个例