一文读懂FM算法优势，并用python实现！（附代码）

作者：ANKIT CHOUDHARY

翻译：张媛

术语校对：冯羽

文字校对：谭佳瑶

本文共3933字，建议阅读9分钟。
本文带大家了解因子分解机算法并解析其优势所在，教你在python中实现。

介绍

我仍然记得第一次遇到点击率预测问题时的情形，在那之前，我一直在学习数据科学，对自己取得的进展很满意，在机器学习黑客马拉松活动中也开始建立了自信，并决定好好迎接不同的挑战。

为了做得更好，我购买了一台内存16GB，i7处理器的机器，但是当我看到数据集的时候却感到非常不安，解压缩之后的数据大概有50GB - 我不知道基于这样的数据集要怎样进行点击率预测。幸运地是，Factorization Machines(FM)算法拯救了我。

任何从事点击率预测问题或者推荐系统相关工作的人都会遇到类似的情况。由于数据量巨大，利用有限的计算资源对这些数据集进行预测是很有挑战性的。

然而在大多数情况下，由于很多特征对预测并不重要，所以这些数据集是稀疏的（每个训练样本只有几个变量是非零的）。在数据稀疏的场景下，因子分解有助于从原始数据中提取到重要的潜式或隐式的特征。

因子分解有助于使用低维稠密矩阵来表示目标和预测变量之间的近似关系。在本文中我将讨论算法Factorization Machines(FM) 和Field-Aware Factorization Machines(FFM)，然后在回归/分类问题中讨论因子分解的优势，并通过python编程实现。

目录

1. 因式分解的直观介绍

2. FM算法如何优于多项式和线性模型

3. FFM算法介绍

4. 在python中使用xLearn库进行算法实现

因式分解的直观介绍

为了直观地理解矩阵分解，我们来看一个例子：假设有一个用户-电影评分（1-5）矩阵，矩阵中的每一个值表示用户给电影的评分（1-5）。

从上述表格中我们可以看出，一些评分是缺失的，我们想设计一种方法来预测这些缺失的评分。直观上来讲，利用矩阵分解来解决这个问题的关键是应该有一些潜在的特征决定用户如何评价一部电影。举例来说 - 用户A和B都是演员阿尔·帕西诺的粉丝，那么他们就会对阿尔·帕西诺的电影评分较高。在上述例子中，对特定演员的偏好是一个隐藏的特性，因为我们没有明确地将其包含在评分矩阵中。

假设我们要计算K个隐藏或潜在的特征，我们的任务是找出矩阵P (U x K)和Q (D x K) (U – 用户, D – 电影)，使得 P x QT  近似等于评分矩阵R。

P矩阵的每一行表示用户与不同特征的相关性，Q矩阵的每一行表示该特征与电影同样的相关性。为了得到用户ui对电影dj的评分，我们可以计算对应于ui和dj两个向量的点积。

接下来要做的就是求出矩阵P和矩阵Q。我们使用梯度下降算法来计算，目标函数是使用户的实际评分与通过矩阵P和Q估计的评分之间的平方误差最小，这里的平方误差由以下方程求出。

现在我们要给pik和qkj定义一个更新规则，梯度下降法中的更新规则是由最小化误差值的梯度来定义的。

获得梯度值后，接下来可以定义pik和qkj的更新规则。

这里α是控制更新步长的学习速率，使用上述更新规则，我们可以迭代地执行操作，直到误差收敛到最小，同时使用下面的公式计算总的误差，以此来确定什么情况下应该停止迭代。