FM模型原理推导、实现及面试常问问题

@ [FM模型原理推导、实现及面试常问问题]

一、模型原理

https://zhuanlan.zhihu.com/p/394917869

1.线性回归

特征$X\in R^{m\times n}$，其中m为样本数，n为特征维度；$x_i,i=1,...,n$ 代表第i维特征；标签$Y\in R$.
线性回归公式：
$$y=w_0+\sum _{i=1}^n{w}_i{x}_i$$

其中，$w_i$为待学习的模型参数，为特征$x_i$的权重，算上偏置$w_0$，有n+1个参数(假设特征之间是独立不相关)。

缺点：需要人工组合特征

2.二阶多项式回归：

因为在实际中，结果不止受到多个变量组合的影响，比如男性 和 喜欢运动 两个变量发生的条件下，购买男士运动服的情况比较大，因此需要将特征组合起来进行拟合：
$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_{ij}{x}_i{x}_j$$

参数除了$w_{ij}$基本和线性回归相同，$w_{ij}$为特征$x_i$和$x_j$同时出现的权重。（当$x_i$或者$x_j$有一个为0，$x_i{x}_j=0$， 则无法学习$w_{ij}$，即使预测时出现了$x_i{x}_j=1$的情况，也无法考虑该特征组合）

优点：考虑了二维组合特征
缺点：模型规模指数倍增长，并且增大了特征稀疏的情况

3.FM模型

3.1 公式：

对于每个特征$x_i$的给一个k维隐向量$v_i\in R^k$，且令
$$w_{ij}=v_i\cdot v_j$$

则FM的模型：
y = w 0 + ∑ i = 1 n w i x i + ∑ i = 1 n ∑ j = i + 1 n v i ⋅ v j x i x j y=w_0 + \sum_{i=1}^{n}w_ix_i + \sum_{i=1}^{n} \sum_{j=i+1}^{n} v_i \centerdot v_jx_ix_j y=w0​+i=1∑n<