FM(Factorization Machine)
引子
机器学习的通常模式为学习输入到输出的变换,比如最常见的线性回归模型,输入为X,输出为Y,通常输入为高维数据,X是一个向量,形式如下:
y=w1x1+w2x2+...+wnxn
线性回归是最简单的线性模型,只能捕捉最简单的一阶线性关系,而且基于各特征独立同分布的假设。
实际中,各特征 x1,x2,...xn 并不是相互对立的,一般有些特征是相互影响的。此时就需要用多项式回归去建立模型,捕捉这些特征之间的相互影响。
一般为了简单,会只捕捉二阶的关系,即特征间两两相互影响的关系,如下:
y=w0+∑j=1pwjxj+∑j=1p∑i=jpw