FM:Factorization Machines简介

介绍

FM是联合SVM与因式分解模型的优点所得。在有比较大的数据稀疏情况下，也能从中找出联系。FM可以在线性时间内优化。

优点

1. 可以在非常稀疏的数据中进行合理的参数估计

2. FM模型的时间复杂度是线性的

3. FM是一个通用模型，它可以用于任何特征为实值的情况

特征向量例子

算法原理

1. model equation:
   
2. Expressiveness:

对于一个W总是存在$W=V\cdot V^t$,也就说对于任何W只要V的列k取得适当，总是能从$W=V\cdot V^t$获得。但是在数据非常稀疏的时候，因为没有足够的数据来得到W，那么就可以通过$W=V\cdot V^t$，V的k取得足够小来得到W。

3. Parameter Estimation Under Sparsity:

因为FM的因式分解，打破了变量之间的独立性，使我们可以通过一个交互来估计相关交互的参数

4. Computation:
   
   对于上述公式，时间复杂度是O(k$n^2$)

但是对于上述公式成对交互可以重新化简为：

第一步推导可以从下图得出：

则复杂度变为了O(kn)

FM as Predictor

• 可以做回归

• 二分类

• 排序

上述都可以使用L2正则来优化防止过拟合

Learning FM

利用梯度来更新

可以参考我的github来看看源代码，如有错误，欢迎交流。