Field-aware Factorization Machines for CTR Prediction

论文链接：
https://www.csie.ntu.edu.tw/~cjlin/papers/ffm.pdf

主要内容

Field-aware Factorization Machines（FFM）场感知分解机是FM的变种，FM的变体称为成对相互作用张量因子化（PITF）被提出用于个性化标签推荐。在2012年KDD杯中，PITF被称为“因子模型”的概括由Team Opera提出。因为这个术语太笼统，很容易与分解机器混淆，我们称之为“现场感知分解机器”（FFM）PITF和FFM之间的区别在于PITF考虑了三个特殊字段，包括“用户”，“项目”和“标记”，而FFM则更为通用。

VS Poly2&FM

Poly2:
$${\varphi }_{\mathrm{P}\mathrm{o}\mathrm{l}\mathrm{y}2}(\mathbf{w},\mathbf{x})=\sum _{j_1=1}^n\sum _{j_2=j_1+1}^n{w}_{h\left(j_1,j_2\right)}{x}_{j_1}{x}_{j_2}$$
FM：
$${\varphi }_{\mathrm{F}\mathrm{M}}(\mathbf{w},\mathbf{x})=\sum _{j_1=1}^n\sum _{j_2=j_1+1}^n\left({\mathbf{w}}_{j_1}\cdot {\mathbf{w}}_{j_2}\right)x_{j_1}{x}_{j2}$$
在稀疏数据集上，FMs模型要比poly2模型好一些，比如对于上述例子中，对于pair(ESPN,Adidas)只有一个唯一的负样本，通过poly2模型会学习到一个大的负向权重对于这个pair，然而对于FMs来说，因为它是学习ESPN和Adidas的隐向量表示，所有包含ESPN的样本和所有Adidas的样本都会被分别用来学习这2个隐向量，所以它的预测会更准确一些。

FFM模型

原文挺清楚的，这边排版不好的话推荐看原文

In our example, φFFM(w,x) is wESPN,A · wNike,P + wESPN,G · wMale,P + wNike,G · wMale,A. We see that to learn the latent effect of (ESPN, NIKE),wESPN,A is used because Nike belongs to the field Adver- tiser, and wNike,P is used because ESPN belongs to the field Publisher. Again, to learn the latent effect of (EPSN, Male), wESPN,G is used because Male belongs to the field Gender, and wMale,P is used because ESPN belongs to the field Pub- lisher. Mathematically,
$${\varphi }_{\mathrm{F}\mathrm{F}\mathrm{M}}(\mathbf{w},\mathbf{x})=\sum _{j_1=1}^n\sum _{j_2=j_1+1}^n\left({\mathbf{w}}_{j_1,f_2}\cdot {\mathbf{w}}_{j_2,f_1}\right)x_{j_1}{x}_{j_2}$$
f2表示j2的field，f1表示j1的field。

具体代码实现见：
https://github.com/DrWelles/CTR_Prediction

结论

FFM还支持并行化处理，所以速度比较快。FFM在稀疏数据的处理上比LM，poly2，FM效果要好很多，它把field的概念融入了FM中，很值得学习。实际在运用的时候要根据具体的问题来调参才会达到比较好的效果。

参考：
https://www.zuanbi8.com/talk/16476.html
https://blog.csdn.net/john_xyz/article/details/78933253