因子分解机 FM 算法及实践

 一、 因子分解机 FM 算法的提出

 在 Logistic Regression 只能处理线性可分的二分类问题，但在现实中大多数是非线性问题，为了能使 Logistic Regression 算法能处理非线性，我们需要对算法进行升级，有两种方法：

（一）、利用人工对特征处理，如使用核函数对特征进行处理，但人工处理对初学者比较难。

（二）、对 Logistic Regression 算法进行拓展，如使用因子分解机 FM (Factorization Machine)，是一种基于矩阵分解的机器学习算法。

   在传统的线性模型如 Logistic Regression 中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合，非线性 SVM 可以对特征进行 kernel 映射，但是在特征高度稀疏的情况下，并不能很好地进行学习。现在在模型如因子分解机 FM、SVD++ 等，可以学习到特征之间的交互隐藏关系，但基本上每个模型都只适用于特定的输入和场景。

    在因子分解机 FM 模型中，不仅包含了 Logistic Regression 模型的线性项，还包含非线性的交叉项，利用矩阵分解对模型中交叉项进行学习，得到每一项的系数无需人工参与。

因子分解机 FM 模型的应用：

（一）、回归问题——损失函数一般为均方误差

（二）、二分类问题——损失函数为 Logit loss ,最终形式，为阈值函数，采用 Sigmoid 函数，本节主讲。

（三）、排序

FM 对比 SVM ：

SVM 和 FM 的主要区别在于，SVM 的二元特征交叉参数是独立的，如 wij，而 FM 的二元特征交叉参数是两个 k 维的向量 vi、vj，这样子的话，<vi,vj> 和 <vi,vk> 就不是独立的，而是相互影响的。线性SVM只有一维特征，不能挖掘深层次的组合特征在实际预测中并没有很好的表现；而多项式 svn 正如前面提到的，交叉的多个特征需要在训练集上共现才能被学习到，否则该对应的参数就为0，这样对于测试集上的 case 而言这样的特征就失去了意义，因此在稀疏条件下，SVM 表现并不能让人满意。而 FM 不一样，通过向量化的交叉，可以学习到不同特征之间的交互，进行提取到更深层次的抽象意义。

此外，FM 和 SVM 的区别还体现在：

1）FM 可以在原始形式下进行优化学习，而基于kernel的非线性SVM通常需要在对偶形式下进行；

2）FM 的模型预测是与训练样本独立，而 SVM 则与部分训练样本有关，即支持向量。

 

二、因子分解机 FM 的模型

二元交叉的 FM 模型如下，其中，w 是输入特征的参数，<vi,vj> 是输入特征 i,j 间的交叉参数，v 是 k 维向量。

之所以通过向量 v 的学习方式而不是简单的 wij 参数，这是因为在稀疏条件下，这样的表示方法打破了特征的独立性，能够更好地挖掘特征之间的相关性。就是通过向量 v 的学习方式能够更好的挖掘特征间的相互关系，尤其在稀疏条件下。

交叉项的求解，两两交叉的复杂度由O(k*n^2)降低到O(kn)。

三、FM 算法的损失函数及求解

在二分类问题中，损失函数为：

使用随机梯度下降法对模型中参数进行调整，优化过程如下：

在利用随机梯度对模型的参数进行学习主要是对损失函数进行求导，即：

  其中：

四、FM 算法的流程

1. 初始化权重w0,w1,....,wn和V 
2.             对每一个样本：                                                                                                                         对特征i：                                                                                                                              对f：                                                                                                     
3. 重复步骤2， 知道满足终止条件

五、 因子分解机 FM 算法的实践

1、 利用梯度下降法训练 FM 模型

# -*- coding: utf-8 -*-
"""
Created on Tue Feb 26 15:10:31 2019

@author: 2018061801
"""
#FM_train.py
import numpy as np

from random import normalvariate  # 正态分布用于v的初始化



def loadDataSet(data):

    '''导入训练数据

    input:  data(string)训练数据

    output: dataMat(list)特征

            labelMat(list)标签

    '''

    dataMat = []

    labelMat = []   

    fr = open(data)  # 打开文件  

    for line in fr.readlines():

        lines = line.strip().split("\t")

        lineArr = []

        

        for i in range(len(lines) - 1):

            lineArr.append(float(lines[i]))

        dataMat.append(lineArr)

        

        labelMat.append(float(lines[-1]) * 2 - 1)  # 转换成{-1,1}

    fr.close()

    return dataMat, labelMat



def sigmoid(inx):

    return 1.0 / (