#Paper Reading# Factorization Machines

论文题目: Factorization Machines
论文地址: https://ieeexplore.ieee.org/abstract/document/5694074
论文发表于: ICDM 2010（CCF B类会议）

论文大体内容：
本文主要介绍了FM模型，该模型相比与SVD++，PITF，FPMC等有明显的优势，同时FM模型也能学习出这几个模型的效果，是一种高效、通用、不惧稀疏的模型；

1. FM模型主要包含四大优势，这也是本文反复提到的：
①极度稀疏数据上也能表现得很好，这也是FM模型泛化能力的表现；
②线性复杂度，无论是模型训练、预测等，都特别高效；
③不用像SVM一样要转换到高维空间，FM可以直接从低维空间学习；
④通用性，能够学习到其它类似SVM模型的效果；

2. FM模型优化方程如下，其实就是在LR的基础上，直接引入任意两个特征的二阶特征组合，v可以看成是特征的embedding，所以就算特征x为0（稀疏），但v不会为0，也正是这样，FM模型具有很强的泛化能力；

3. FM能从O(n*n)复杂度转化为O(k*n)复杂度，从而高效；

4. FM求梯度后，能用O(1)复杂度去更新参数，在训练中高效；

5. FM框架不但可以增加到二阶特征组合，还能扩展到d阶；

6. FM与MF
①MF是FM的特例，只有2维field的FM，就算MF；
②FM在MF基础上，能考虑到其它的side information，从而取的更好的效果；

7. 思考
其实FM的核心思想是进行自动二阶特征组合（一般比二阶更大的都很少用到），里面用到embedding的思想来表示特征，这也是在DNN流行之前的一种“神想法”；

 

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！