FM算法

最新推荐文章于 2024-11-01 13:10:19 发布

sighofvenus

最新推荐文章于 2024-11-01 13:10:19 发布

阅读量248

点赞数

分类专栏：机器学习文章标签：机器学习 FM

本文链接：https://blog.csdn.net/sighofvenus/article/details/89329293

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

FM算法

开篇寄语

开篇寄语

继上一篇LR总结之后，对于机器学习的理解算是提升了一些，接下来就按照Ranking模型的发展路线，依次展开，这篇讨论下基础的embedding模型FM（Factorization Machine）

1、LR模型的缺陷

关于sigmoid函数，我们不再做讨论，我们只看函数中跟参数相关的线性部分，即 $\theta^TX$ ，为方便对于线性模型，我们暂且用 $\omega$ 而不是 $\theta$ 来表示参数，那么LR模型的线性部分即为：
$\omega_0 + \sum_{i=1}^{n} \omega_i x_i$

可以看到，不同特征之间是没有交叉的，为此，我们需要增加交叉的部分，形式如下：
$\omega_0 + \sum_{i=1}^{n} \omega_i x_i + \sum_{i=1}^{n-1}\sum_{j=i+1}^{n} \omega_{ij}x_ix_j$

这个就是FM算法需要解决的问题，特征交叉问题

2、FM求解

1，化简

从上面的式子可以很容易看出，组合部分的特征相关参数共有 $n (n - 1) 2$ 个。但是如第二部分所分析，在数据很稀疏的情况下，满足 $x_i$ , $x_j$ 都不为0的情况非常少，这样将导致 $ω_{ij}$ 无法通过训练得出。

为了求出 $ω_{ij}$ ，我们对每一个特征分量 $x_i$ 引入辅助向量 $V_i=(v_{i1},v_{i2},\cdots,v_{ik})$ 。然后，利用 $v_iv^T_j$ 对 $ω_{ij}$ 进行求解
在这里插入图片描述
那么 $ω_{ij}$ 组成的矩阵可以表示为:

上面的表达形式，就对应了一种矩阵的分解。对 $k$ 值的限定，就反应了FM模型的表达能力

求解< $v_i$ , $v_j$ >的时间复杂度是 $O(n^2)$ ，可以通过类似于 $a+b+c)^2-a^2-b^2-c^2$ ，求出交叉项，这样的话，求解的时间复杂度是 $O (n)$ ，化简如下：
$\begin{aligned} y &= \sum_{i=1}^{n-1}\sum_{j=j+1}^{n}<v_i,v_j>x_ix_j \\ &=\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}<v_i,v_j>x_ix_j - \frac{1}{2}\sum_{i=1}^{n}<v_i,v_i>x_ix_i \\ &= \frac{1}{2}(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{j,f}x_ix_j - \sum_{i=1}^{n}\sum_{f=1}^{k}v_{i,f}v_{i,f}x_ix_i) \\ &= \frac{1}{2}\sum_{f=1}^{k}((\sum_{i=1}^{n}v_{i,f}x_i)(\sum_{j=1}^{n}v_{j,f}x_j)-\sum_{i=1}^{n}v_{i,f}^2x_i^2) \\ &= \frac{1}{2}\sum_{f=1}^{k}((\sum_{i=1}^{n}v_{i,f}x_i)^2-\sum_{i=1}^{n}v_{i,f}^2x_i^2) \end{aligned}$

至此，化简完毕，这个化简的公式在预测过程中是非常有用的

2，求导

首先，FM可以用于二分类，也可以用于多分类，根据学习函数决定，假设是Sigmoid函数，就是二分类，其求导包含两部分，Sigmoid( $f (z)$ )偏导和FM( $f (x)$ )偏导，即
$\frac{\partial f(z)}{\partial f(v)} = \frac{\partial f(z)}{\partial f(x)} \frac{\partial f(x)}{\partial f(v)}$

其中，前半部分是Sigmoid函数通用的，跟LR算法一致，即
$\begin{aligned} \frac{\partial f(z)}{\partial f(x)} = f(z) - y \end{aligned}$

其中y即label，我们只需要求后半部分即可
根据我们化简之后的结果，求偏导得：
$\begin{aligned} \frac{\partial f(x)}{\partial f(v)} &=\partial (\frac{1}{2}\sum_{f=1}^{k}((\sum_{i=1}^{n}v_{i,f}x_i)^2-\sum_{i=1}^{n}v_{i,f}^2x_i^2) )/\partial v_{i,f} \\ &= x_i\sum_{j=1}^{n}v_{j,f}x_j - v_{i,f}x_i^2 \end{aligned}$