深入理解FFM（一）

最新推荐文章于 2024-04-23 17:36:06 发布

inf_zh

最新推荐文章于 2024-04-23 17:36:06 发布

阅读量1.3k

点赞数

分类专栏： Machine Learning / Data Mining 文章标签： Machine Learning / Data Mining

本文链接：https://blog.csdn.net/qq_33840784/article/details/80152887

版权

本文深入探讨FFM（Field-Aware Factorization Machines），一种在CTR预测中表现优异的模型。文章从二阶多项式模型（POLY2）和因子分解机（FM）出发，解释了FFM如何结合两者的优势，特别是在处理海量稀疏数据时的有效性。通过算法描述和数学推导，展示了FFM如何学习特征交互项的系数，并提供了训练FFM模型的SGD迭代过程。

摘要由CSDN通过智能技术生成

0. 导言
1. POLY2
2. FM
3. FFM
4. 算法
5. 小结
6. 参考文献

0. 导言

最近在参加IJCAI18的pCVR预估比赛，比赛到了复赛也是真正比拼模型和算法的时候了。初赛90%的时间都在做一个勤劳的”挖掘机”，但是到了复赛，光挖特征已经无法做到很好的提升了，这时候就是拼模型了。做CTR模型的人，FFM一定是绕不过去的，因此借此机会，在这里按照论文[1]仔细的推敲（翻译:p）下FFM背后的数学原理。

field-aware factorization machines（FFM）是基于FM和二阶多项式模型的扩展。在大量的CTR预估比赛中大放异彩。FFM在处理海量稀疏数据的分类问题时十分有效。
我们定义数据集为 $(y_i, \boldsymbol{x_i}), i = 1, ... , n$ ，其中 $\boldsymbol{x_i}$ 为 $p$ 维特征向量。我们知道带 $l_2$ 正则的Logistic regression可以表示为这样的一个优化问题:

$\max \limits_{w} \frac{\lambda}{2}\left \|\boldsymbol{w} \right \|_2^2 + \sum\limits_{i=1} ^nlog(1 + exp(-y_i\phi_{LM}(\boldsymbol{w},\boldsymbol{x_i})))$
其中 $\phi_{LM}(\boldsymbol{w},\boldsymbol{x_i}) = \boldsymbol{w}\cdot \boldsymbol{x_i}$

然而在CTR预估任务中，特征之间的相互作用是绝不能忽视的，甚至能表达出单个特征无法表达出的信息（见论文中Table 1的例子）。为了学习到特征交互项之前的系数，我们可以用两种方法。第一个方法就是将原始的线性部分 $\phi_{LM}$ 进行二阶多项式 $(Poly2)$ 转换，而第二个方法就是用FM模型。如果我们将两个模型做一些适当的结合，当当当~就出来了我们的FFM。接下来我们将详细介绍下这两个方法和他们是如何结合的具体细节。