01-《Factorization-Machines》

1. 什么是FM

    Factorization-Machines（简称FM），中文一般叫做“因子分解机”，它最早由Steffen Rendle在2010年提出，解决了稀疏数据场景下的特征组合问题。

    所谓稀疏数据场景，指的是：（1）许多真实世界的特征向量数据涉及到大量的分类变量域，本身是稀疏的（2）将特征向量转换成one-hot向量后，会存在大量0。

    FM具有几下几个优点：

•     FM可以在稀疏数据场景下进行参数估计
•     FM具有线性的时间复杂度
•     FM是一种可用于任何实值特征向量的通用预测器

    我们需要关注：FM如何应用在稀疏数据下，以及FM为什么具有线性时间复杂度。

2. one-hot

    在介绍FM模型前，需要先了解one-hot编码，因为categorical特征数据首先需要经过one-hot编码，然后才能被使用。

    我们以用户对电影评分的数据来举例：

    当我们有用户集U = {Alice (A),Bob (B),Charlie (C),...}，

                   电影集I = {Titanic (TI),Notting Hill (NH),Star Wars (SW),Star Trek (ST),...}

                   评分集S = {(A,TI,2010-1,5),(A,NH,2010-2,3),(A,SW,2010-4,1),(B,SW,2009-5,4),(B,ST,2009-8,5),(C,TI,2009-9,1),(C,SW,2009-12,5)}

    经过one-hot编码后，得到了以下数据：

    我们现在可以只关注第一个蓝色区域，第二个橙色区域和最后的Target y区域。他们分别是我们之前提到的U，M和S集合经过one-hot编码得到的。每个区域，我们可以当做是一个特征。

    Feature vector x中的每一行，就是接下来我们以向量形式送入公式的数据（即下一节里的特征向量X了）。

 

3. FM model

    模型的公式如下（以二次为例）：

                                               

                                                                                

   公式（1）中：

       X ：长度为n的向量，即经过one-hot编码的特征向量