机器学习面试必知：推荐算法FM

传统的线性模型如LR中，每个特征都是独立的，如果需要特征与特征直接的交互作用，需要人工对特征进行交叉组合，例如核方法。但是在特征高度稀疏的情况下，并不能很好地进行学习。
很多分解模型Factorization model如矩阵分解MF，SVD++等，这些模型可以学习到特征之间的交互隐藏关系，但是每个模型都只适用于特定的输入和场景。
因此，在高度稀疏的数据场景下推荐系统FM（Factorization Machine）出现了。

FM模型目标函数$$y(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$$<v_i,v_j>$是输入特征i,j之间的交叉参数，$v_i和v_j$都是k维向量。

模型的计算复杂度O(kn)$$\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$$$=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n<v_i,v_j>x_i{x}_j-\frac{1}{2}\sum _{i=1}^n<v_i,v_i>x_i{x}_i$$$$=\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n\sum _{f=1}^k{v}_{i,f}{v}_{j,f}{x}_i{x}_j-\sum _{i=1}^n\sum _{f=1}^k{v}_{i,f}{v}_{i,f}{x}_i{x}_i)$$$$=\frac{1}{2}\sum _{f=1}^k((\sum _{i=1}^n{v}_{i,f}{x}_i{)}^2-\sum _{i=1}^n{v}_{i,f}^2{x}_i^2)$$

模型的应用

• 回归模型，损失函数可以采用最小均方误差
• 分类模型，损失函数可以采用hinge loss或者logit loss 或者softmax loss
• 排序模型， 损失函数可以采用维pairwise loss

模型的学习
FM模型的w和v更新可以通过随机梯度下降法SGD进行

与多项式核SVM的区别
多项式核SVM$$y(x)=w_0+\sqrt{2}\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n{w}_{i,i}^2{x}_i^2+\sqrt{2}\sum _{i=1}^n\sum _{j=i+1}^n{w}_{i,j}^2{x}_i{x}_j$$可以看到虽然和FM模型的表达式很相似。区别在于SVM的二元特征交叉参数是独立的(比如$w_{i,j}$)，而FM中的$<v_i,v_j>和<v_i,v_k>$不是独立的，而是相互影响的。
多项式SVM，交叉的多个特征需要在训练集上共现才能被学习到，否则该对应的参数为0，这样的话对于测试集上的情况而言就失去了意义。因此在稀疏的条件下，共现很难，整体性能表现不佳。而FM通过向量化的交叉，可以学习到不同特征之间的交互，进而提取到更深层次的抽象意义。
另外的区别还体现在

1. FM可以在原始形式下进行优化学习，而基于kernel的非线性SVM通常在对偶形式下进行
2. FM的模型预测是与训练样本独立的，而SVM与部分训练样本有关即支持向量