FM模型（Factorization Machine，因子分解机）解析及举例

小美美大白蛋

已于 2024-07-12 17:41:59 修改

阅读量1k

点赞数 15

分类专栏：推荐系统文章标签：人工智能机器学习深度学习推荐算法

于 2024-07-12 17:35:14 首次发布

本文链接：https://blog.csdn.net/weixin_41570231/article/details/140382485

版权

推荐系统专栏收录该内容

7 篇文章 1 订阅

订阅专栏

FM模型（Factorization Machine，因子分解机）是一种强大的机器学习算法，广泛用于推荐系统、分类和回归任务。FM模型能够有效地处理高维稀疏数据，并捕捉特征之间的交互关系。以下是FM模型的详细介绍：

一、FM模型的基本概念

FM模型通过分解特征矩阵来捕捉特征之间的二阶交互作用，解决了传统线性模型无法有效处理高维稀疏数据的问题。FM模型的基本公式如下：

$\hat{y}=w_0+\sum_{i=1}^n w_i x_i+\sum_{i=1}^n \sum_{j=i+1}^n\left\langle v_i, v_j\right\rangle x_i x_j$

其中：

$\hat{y}$ 是预测值
$w_0$ 是全局偏置
$w_i$ 是特征 $x_i$ 的权重
$v_i$ 是特征 $x_i$ 的因子向量
$\left\langle v_i, v_j\right\rangle$ 表示因子向量 $v_i$ 和 $v_j$ 的内积，表示特征 $x_i$ 和 $x_j$ 之间的交互作用

二、内积

Factorization Machines (FM) 的一个核心特性是捕捉特征之间的二阶交互作用，而这些交互作用通过特征向量的内积（dot product）来表示。内积部分在 FM 模型中起着关键作用，因为它能够有效地建模特征之间的关系。下面我们来详细介绍一下内积部分。

1.内积的定义

在 FM 模型中，特征向量的内积用于表示特征之间的二阶交互作用。具体来说，特征 $x_i$ 和 $x_j$ 的交互作用由它们对应的因子向量 $v_i$ 和 $v_j$ 的内积表示：

$\left\langle v_i, v_j\right\rangle=\sum_{f=1}^k v_{i, f} \cdot v_{j, f}$

其中：

$v_i$ 和 $v_j$ 是特征 $x_i$ 和 $x_j$ 的因子向量，向量维度为 k。
$v_{i, f}$ 和 $v_{j, f}$ 是因子向量 $v_i$ 和 $v_j$ 在第 f 维的分量。
$\left\langle v_i, v_j\right\rangle$ 表示因子向量 $v_i$ 和 $v_j$ 的内积。

2.内积在 FM 模型中的作用

FM 模型的基本公式中包含了内积部分，用于表示特征之间的二阶交互作用：

$\hat{y}=w_0+\sum_{i=1}^n w_i x_i+\sum_{i=1}^n \sum_{j=i+1}^n\left\langle v_i, v_j\right\rangle x_i x_j$

在这个公式中，内积 $\left\langle v_i, v_j\right\rangle$ 对应特征 $x_i$ 和 $x_j$ 之间的交互作用权重。这部分的作用是通过特征向量的内积捕捉特征之间的关系，从而弥补传统线性模型无法捕捉特征交互作用的不足。

3.内积的计算

为了高效地计算 FM 模型中的二阶交互项，我们可以利用矩阵分解的技巧。具体来说，计算所有特征对的二阶交互作用可以通过以下公式实现：

$\sum_{i=1}^n \sum_{j=i+1}^n\left\langle v_i, v_j\right\rangle x_i x_j=\frac{1}{2}\left(\left(\sum_{i=1}^n v_i x_i\right)^2-\sum_{i=1}^n\left(v_i x_i\right)^2\right)$