推荐系统fm算法

最新推荐文章于 2024-10-10 22:59:02 发布

happywinder--

最新推荐文章于 2024-10-10 22:59:02 发布

阅读量678

点赞数 7

分类专栏：推荐系统文章标签：算法推荐算法

本文链接：https://blog.csdn.net/qq_54802783/article/details/141956749

版权

推荐系统专栏收录该内容

2 篇文章 0 订阅

订阅专栏

背景介绍

先介绍一下POLY2模型，POLY2是为了解决特征交叉问题而设计的模型，初期，算法工程师需要手动组合特征再通过各种手段分析特征。为了解决这种效率低下的问题，设计了特征的暴力组合。

POLY2的数学形式如下

$\phi POLY2(w,x)=b+\sum\limits_{i=1}^nw_ix_i+\sum\limits_{i=1}^n\sum\limits_{j=i+1}^nw_{i,j}x_ix_j$

前面 $b+\sum\limits_{i=1}^nw_ix_i$ 是线性回归，后面部分是二阶特征交叉，暴力组合二阶特征，就是二阶特征相乘然后乘上一个系数。空间复杂度 $O(n^2)$ ,一共 $n (n - 1) /2$ 个。

当特征维度较高时，权重参数量很大导致训练压力巨大。而且只有当 $x_i,x_j$ 都不为0时，才能反向传播训练 $w_{i,j}$ 。

FM针对稀疏one-hot编码，引入了稠密隐向量，减少了训练参数。

FM算法思想

对于样本 $X$ 每一个特征 $x_1,x_2,x_3...x_n)$ ，都有对应的隐向量 $v_1,v_2,v_3...v_n)$ ,其中隐向量维度为 $k$ ,其中 $k\ll n$ ,即隐向量矩阵大小 $(n, k)$ ,参数总量为 $n * k$ ,使用两个隐向量点积 $v_i\cdot v_2$ 得到的权值来代替POLY2算法中的枚举权重 $w_{i,j}$

$\phi FM(w,x)=b+\sum\limits_{i=1}^nw_ix_i+\sum\limits_{i=1}^n\sum\limits_{j=i+1}^n\langle v_i,v_j\rangle x_ix_j$

FM公式化简

在这里插入图片描述
将计算复杂度从 $O(n^2k)$ 降为 $O (nk)$

pytorch代码实现

class FactorizationMachine(nn.Module):
    def __init__(self, n, k):
        """
        :param n: feature_dim
        :param k: embedding_dim
        """
        super().__init__()
        self.n = n
        self.k = k
        self.b = nn.Parameter(torch.zeros(1), requires_grad=True)
        self.W = nn.Parameter(torch.randn(n, k))
        self.linear = nn.Linear(n, 1)
        nn.init.xavier_uniform(self.W)

    def forward(self, x):
        """
        :param x: shape [batch,feature_num]
        :return:
        """
        x1 = self.linear(x)
        left = torch.mm(x, self.W) * torch.mm(x, self.W) #*是元素乘
        right = torch.mm(x * x, self.W * self.W)
        x2 = 0.5 * torch.sum(left - right, dim=-1,keepdim=True)

        return self.b + x2 + x1