隐语义模型（Latent Factor Model, LFM）原理以及代码实现

最新推荐文章于 2025-03-16 19:34:01 发布
最新推荐文章于 2025-03-16 19:34:01 发布
阅读量1.5w 收藏 148
点赞数 37
分类专栏： 推荐系统 文章标签： 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luanfenlian0992/article/details/105989770
版权

在推荐系统中，隐语义模型主要用来让模型自己去发掘物品之间潜在的特征。

代码链接: github.

一、关于隐语义模型（LFM）

1. 用隐语义模型来进行协同过滤的目标

  • 揭示隐藏的特征,这些特征能够解释为什么给出对应的预测评分
  • 这类特征可能是无法直接用语言解释描述的,事实上我们并不需要知道,类似"玄学”

2. 通过矩阵分解进行降维分析

  • 协同过滤算法非常依赖历史数据,而一般的推荐系统中,偏好数据又往往是稀疏的;这就需要对原始数据做降维处理
  • 分解之后的矩阵,就代表了用户和物品的隐藏特征

3. 隐语义模型实例

  • 基于概率的隐语义分析( pLSA )
  • 隐式迪利克雷分布模型( LDA )
  • 矩阵因子分解模型(基于奇异值分解的模型, SVD )

二、LFM降维方法——矩阵因子分解

  • 假设用户物品评分矩阵为 R，现在有m个用户，n个物品
  • 我们想要发现 k个隐类,我们的任务就是找到两个矩阵P和Q，使这两个矩阵的乘积
    近似等于R，即将用户物品评分矩阵R分解成为两个低维矩阵相乘:

在这里插入图片描述
用户对电影的评分矩阵R分解为用户特征矩阵P跟电影特征矩阵Q（f1,f2,f3,f4为相应的特征）：
在这里插入图片描述
反过来，用户特征矩阵P乘以电影特征矩阵Q得到用户的评分矩阵，其中用户评分矩阵R中的元素就是矩阵P与矩阵Q中相应特征向量的点积，反映的是用户特征与物品特征的契合程度，故R中数字越大反映用户对物品喜好程度越大。
在这里插入图片描述

三、LFM的进一步理解

  • 我们可以认为，用户之所以给电影打出这样的分数，是有内在原因的，我们可以挖掘出影响用户打分的隐藏因素，进而根据未评分电影与这些隐藏因素的关联度，决定此未评分电影的预测评分
  • 应该有一些隐藏的因素，影响用户的打分，比如电影:演员、题材、年代.甚至不一定是人直接可以理解的隐藏因子
  • 找到隐藏因子，可以对user和item进行关联(找到是由于什么使得user喜欢/不喜欢此item,什么会决定user喜欢/不喜欢此item)，就可以推测用户是否会喜欢某一部未看过的电影
  • 对于用户看过的电影，会有相应的打分，但一个用户不可能看过所有电影，对于用户没有看过的电影是没有评分的，因此用户评分矩阵大部分项都是空的，是一个稀疏矩阵

在这里插入图片描述

  • 如果我们能够根据用户给已有电影的打分推测出用户会给没有看过的电影的打分，那么 就可以根据预测结果给用户推荐他可能打高分的电影

四、矩阵因子分解

  • 我们现在来做一个一般性的分析
  • 一个 m x n 的打分矩阵R可以用两个小矩阵Pmxk和Qkxn的乘积 R’ 来近似:

在这里插入图片描述
公式：
在这里插入图片描述

  • 得到Pmxk和Qkxn的乘积 R’ 不再是稀疏的，之前R’中没有的项也可以由P、Q的乘积算出，这就得到了一个预测评分矩阵
    注：R’ 代表上面公式中的矩阵乘积Rui，这么做是因为本人不会表示这个字符。。。233
  • 得到Pmxk和Qkxn的乘积 R’ 不再是稀疏的，之前R中没有的项也可以由P、Q的乘积算出，这就得到了一个预测评分矩阵

在这里插入图片描述

  • 如果得到的预测评分矩阵 R’ 与原评分矩阵R在已知评分位置上的值都近似，那么我们认 为它们在预测位置上的值也是近似的

在这里插入图片描述

五、模型的求解——损失函数

  • 现在的问题是，怎样得到这样的分解方式 R’=PxQ 呢?
  • 矩阵分解得到的预测评分矩阵 R’ ,与原评分矩阵R在已知的评分项.上可能会有误差，我们的目标是找到一个最好的分解方式，让分解之后的预测评分矩阵总误差最小

损失函数

  • 我们选择平方损失函数,并且加入正则化项,以防过拟合：

在这里插入图片描述
其中在这里插入图片描述是正则化项，λ 一般通过交叉验证得到的

六、模型的求解算法——ALS（求得精确结果，但不适用，可忽略不看）

  • 现在，矩阵因子分解的问题已经转化成了一个标准的优化问题，需要求解P、Q,使目标损失函数取最小值
  • 最小化过程的求解，一般采用随机梯度下降算法或者交替最小二乘法来实现

1. 交替最小二乘法( Alternating Least Squares , ALS )

  • ALS的思想是，由于两个矩阵P和Q都未知，且通过矩阵乘法耦合在一起，为了使它们解耦，可以先固定Q，把P当作变量，通过损失函数最小化求出P,这就是-个经典的最小二乘问题;再反过来固定求得的P,把Q当作变量，求解出Q:如此交替执行，直到误差 满足阈值条件，或者到达迭代上限

2. ALS算法

  • ALS算法具体过程如下：
    I. 为Q指定- -个初值Qo,可以是随机生成或者全局平均值
    II. 固定当前Qo值，求解P。
    I. 固定当前Po值，求解Q1
    IV. 固定当前Q1值，求解P1
    V. … (重复以。上过程)
    VI. 直到损失函数的值C收敛，迭代结束

3. 求解过程

  • 以固定Q,求解P为例
  • 由于每一个用户u都是相互独立的，当Q固定时，用户特征向量Pu应该取得的值与 其它用户特征向量无关;所以每一个Pu都可以单独求解
  • 优化目标在这里插入图片描述可转化为

在这里插入图片描述

  • 令在这里插入图片描述

  • 那么我们的目标变成了：求每一个用户特征向量Pu，使得Lu(Pu)取得最小值

  • Lu对Pu求偏导：

在这里插入图片描述

  • 令在这里插入图片描述，可以得到：

在这里插入图片描述

  • 由Pu，Qi是向量，则：
    在这里插入图片描述

  • 所以有
    在这里插入图片描述

  • Qi是物品 i 的特征向量，所以等式可以写为:

在这里插入图片描述

  • 可以看到，物品特征向量构成的矩阵，其实就是Q:

在这里插入图片描述

  • 所以可以得到：

在这里插入图片描述

  • 解得：

在这里插入图片描述

  • 这样一一解出每一个Pu，就可以得到这一步的用户特征矩阵P了
  • 同样，下一次固定P时，可以解得
    在这里插入图片描述

七、梯度下降算法（实际使用）

  • 由上可得，损失函数为：

在这里插入图片描述

  • 对于每一个Pu求偏导：

在这里插入图片描述

  • 梯度下降迭代：

在这里插入图片描述

  • 同理，有：

在这里插入图片描述

八、Python代码实例

为了便于理解，代码是基于Jupyter编辑器实现，每一个步骤有对应的输出结果。
代码链接: github.

  1. 引入依赖文件
import numpy as np
import pandas as pd
  1. 数据准备，自定义评分矩阵R
#评分矩阵R
R = np.array([[4,0,2,0,1],
             [0,0,2,3,1],
             [4,1,2,0,1],
             [4,1,2,5,1],
             [3,0,5,0,2],
             [1,0,3,0,4]])
  1. 算法实现
'''
@输入参数
R:M*N的评分矩阵
K:隐特征向量维度
max_iter:最大迭代次数
alpha:步长
lamda:正则化系数

@输出
分解之后的P、Q
P:初始化用户特征矩阵M*k
Q：初始化物品特征矩阵N*K
'''

#给定超参数

K= 5
max_iter = 5000
alpha = 0.0002
lamda = 0.004

#核心算法
def LFM_grad_desc(R,K,max_iter,alpha=0.0002,lamda = 0.002):
    #基本维度参数定义
    M = len(R)
    N = len(R[0])
    
    #P、Q初始值，随机生成
    P = np.random.rand(M,K)
    Q = np.random.rand(N,K)
    Q = Q.T
    
    #开始迭代
    for step in range(max_iter):
        #对所有的用户u、物品i做遍历，对应的特征向量Pu，Qi梯度下降
        for u in range(M):
            for i in range(N):
                #对于每一个大于0的评分，求出预测的评分误差
                if R[u][i] > 0:
                    eui = np.dot(P[u,:],Q[:,i]) - R[u][i]
                    
                    #带入公式，按照梯度下降算法更新当前的Pu与Qi
                    for k in range(K):
                        P[u][k] = P[u][k] - alpha * (2 * eui * Q[k][i] + 2 * lamda * P[u][k])
                        Q[k][i] = Q[k][i] - alpha * (2 * eui * P[u][k] + 2 * lamda * Q[k][i])
                        
        #u、i遍历完成，所有的特征向量更新完成，可以得到P、Q，可以计算预测评分矩阵
        predR = np.dot(P,Q)
        
        #计算当前损失函数
        cost = 0
        for u in range(M):
            for i in range(N):
                if R[u][i] > 0:
                    cost += (np.dot(P[u,:],Q[:,i]) - R[u][i]) ** 2
                    #加上正则化项
                    for k in range(K):
                        cost += lamda * (P[u][k] ** 2 + Q[k][i] ** 2)
                        
        if cost < 0.001:
            break
    
    return P,Q.T,cost
  1. 测试
P,Q,cost = LFM_grad_desc(R,K,max_iter,alpha,lamda)
'''
print(P)
print(Q)
print(cost)
print(R)
'''
predR = P.dot(Q.T)
#预测矩阵
predR

输出结果：

array([[3.94148951, 1.22116106, 2.07332208, 4.72376533, 0.91906299],
[2.67232719, 0.74839699, 1.98552529, 3.03276144, 0.97156313],
[3.9330541 , 0.94175409, 2.10780256, 4.09245595, 0.88109636],
[4.09412304, 1.05343721, 1.87535923, 4.92277698, 1.17325781],
[3.04067184, 1.03100579, 4.90618167, 3.34662411, 2.08753076],
[0.96925078, 0.10826894, 3.05169384, 3.81235739, 3.92397575]])

从输出的预测矩阵就可以看出，原先矩阵中为 0 的位置现在已经有了相应的预测值。

2021-09-07LFM(latent factor model)
强化学习曾小健
09-07 324
在推荐系统中有两种协同过滤的方式。 一种是基于邻域的方式，这种方式又包含了基于用户的和基于物品的，这种方式实现简单，而且效果也是非常的不错，唯一的缺点是对待稀疏矩阵的时候表现乏力。因此诞生了下面的方式。 方式二是基于模型的方式，也就是矩阵分解的方式，这种方式将推荐问题转化为了机器学习问题。 下面通过一个图来说明，不再详细介绍原理，而是主要分析各种LFM实现的变种 其实，svd，就是把一个大矩阵，分解成三个小矩阵。 SVD和特征分解不同，并不要求要分解的矩阵是方阵。 上面已经介绍了用svd进.
推荐系统之隐语义模型(LFM)
热门推荐
lpty的博客
10-30 3万+
一 基本概念 LFM(latent factor model)隐语义模型，这也是在推荐系统中应用相当普遍的一种模型。那这种模型跟ItemCF或UserCF有什么不同呢？这里可以做一个对比： 对于UserCF，我们可以先计算和目标用户兴趣相似的用户，之后再根据计算出来的用户喜欢的物品给目标用户推荐物品。 而ItemCF，我们可以根据目标用户喜欢的物品，寻找和这些物品相似的物品，再推荐给用户
深入解析 Latent Diffusion Model（潜在扩散模型，LDMs）（代码实现）
最新发布
阿正的梦工坊
03-16 2077
传统扩散模型在像素空间直接操作的特性导致其训练和推理过程计算成本极高，限制了其在高分辨率图像生成中的广泛应用。为了解决这一问题，Latent Diffusion Model（潜在扩散模型，LDMs）应运而生，它通过在潜在空间中运行扩散过程，显著降低了计算复杂度，同时保留甚至提升了生成质量。
Latent Dirichlet Allocation(LDA)主题模型算法实现及源码解析
chenglinhust的专栏
01-15 3417
Latent Dirichlet Allocation(LDA)主题模型算法实现及源码解析  变量说明： Dirichlet Allocation(LDA)主题模型算法实现及源码解析" title="Latent Dirichlet Allocation(LDA)主题模型算法实现及源码解析" style="margin:0px; padding:0px; border:0px; l
隐语义模型LFM基础代码
smallTutou的博客
04-08 247
''' LFM Model ''' import pandas as pd import numpy as np class LFM: def __init__(self,alpha,reg_p,reg_q,number_latentFactors=10,number_epochs=10,columns=["uid","iid","rating"]): self.alpha = alpha #学习率 self.reg_p = reg_p #p矩阵正则
潜在因子模型(Latent Factor Models) 详细的证明过程
Python领域优质萌新学习笔记
03-21 730
综上所述，由于因子载荷矩阵的转置乘以因子载荷矩阵是单位阵的约束下，以及潜在因子矩阵的转置乘以潜在因子矩阵是对角阵的约束下，因子载荷矩阵估计量由特征向量组成，潜在因子矩阵是由样本矩阵乘以因子载荷矩阵估计量。使用最小化误差平方和来求解因子载荷矩阵和潜在因子矩阵。在因子载荷矩阵的转置乘以因子载荷矩阵是单位阵的约束下，同时潜在因子矩阵的转置乘以潜在因子矩阵是对角阵的约束下，我们可以将。具体而言，我们可以先将误差平方和展开，并将其关于。的形式与特征向量的形式非常相似，因此我们可以将。列组成的矩阵的转置。
潜在因子模型（Latent Factor Models）求解过程
Python领域优质萌新学习笔记
03-21 1247
潜在因子模型（Latent Factor Models）是一类常见的多元统计模型，用于探索观测数据中的潜在结构。该模型假设存在一些未被观察到的潜在因子或隐变量，这些潜在因子通过载荷矩阵与观测变量相关联。同时，潜在因子之间相互独立且与观测变量无关。另一个常见的约束条件是，潜在因子矩阵的转置乘以潜在因子矩阵是对角阵的约束。时，潜在因子模型可以用于降维和特征提取，提高模型预测能力和解释性。而最小二乘法是求解载荷矩阵和潜在因子矩阵的常用方法。最后，也可以通过奇异值分解等方法对载荷矩阵和潜在因子矩阵进行求解。
python实现lfm_【知识发现】隐语义模型(LFM,Latent Factor Model)推荐算法python实现
weixin_39689347的博客
12-21 603
1、隐语义模型：物品：表示为长度为k的向量q(每个分量都表示 物品具有某个特征的程度)用户兴趣：表示为长度为k的向量p(每个分量都表示 用户对某个特征的喜好程度)用户u对物品i的兴趣可以表示为： 其损失函数定义为：使用随机梯度下降，获得参数p,q。负样本生成：对于只有正反馈信息(用户收藏了，关注了xxx)的数据集，需要生成负样本，原则如下1)生成的负样本要和正样本数量相当2)物品越热门(用户没...
隐语义模型(LFM)
qq_32486393的博客
04-10 3075
一.LFM 1.概念： 　　LFM（latent factor model)，它的核心思想是通过隐含特征（latent factor）联系用户兴趣和物品。 2.提出背景： 　　除了传统的UserCF和ItemCF推荐方法，还有一种方法是首先对物品进行分类，对于某个用户，首先得到他的兴趣分类，然后从分类中挑选他可能喜欢的物品，即基于兴趣分类的方法。 二.基于兴趣分类 1.面临的问题： 问题a：如何...
推荐系统算法—隐语义模型（LFM）详解
zhong_ddbb的博客
07-16 3717
文章目录基本思想数学原理 协同过滤算法主要包括基于用户的协同过滤（User-Based CF）、基于物品的协同过滤（Item-Based CF）、隐语义模型（Latent Factor Model）等。LFM（latent factor model）隐语义模型从诞生到今天产生了很多著名的模型和方法。其实该算法最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的算法有LSI、pLSA、LDA和Topic Model。推荐系统的用户行为分为显性反馈和隐性反馈。LFM在显性反馈数据（也就是评分数据）上解决评分
推荐系统实战（4）——基于模型的协同过滤算法（隐语义模型LFM）（代码实现）
a1272899331的博客
03-28 4931
1 基本原理 LFM(Latent Factor Model)隐语义模型是最近几年推荐系统领域最为热门的研究话题，它的核心思想是通过隐含特征(Latent Factor)联系用户兴趣和物品。那这种模型跟ItemCF或UserCF有什么不同呢？这里可以做一个对比： 对于UserCF，我们可以先计算和目标用户兴趣相似的用户，之后再根据计算出来的用户喜欢的物品给目标用户推荐物品。 而ItemCF，...
从主题模型(Topic Model)到隐语义模型(Latent Factor Model)
云南省高校数据化运营管理工程研究中心的博客
10-23 9759
在项亮的《推荐系统实战》中曾提到：隐语义模型(以下简称LFM)的算法最早是在文本挖掘领域被提出来的，用于找出文本的隐含语义。而在文本挖掘领域，主题模型(以下简称TM)正是用于找出文本中的隐含主题。由此可以推断LFM是由TM演变而来，TM是文本挖掘领域的专有名词，而LFM是推荐系统领域的专有名词，但其算法思想却是一致的。
【推荐系统（二）】协同过滤之隐语义模型（LFM）
VariableX的博客
07-17 1283
文章目录一、引例二、LFM主要思想训练样本构造损失函数定义参数学习调参相关三、小结优点缺点 基于用户行为分析的推荐算法一般称为协同过滤算法。所谓协同过滤，就是指众多的用户可以齐心协力，通过不断地和网站互动，使自己的推荐列表能够不断过滤掉自己不感兴趣的物品，从而越来越满足自己的需求。常见实现方法的包括： 基于邻域的方法 隐语义模型 基于图的随机游走算法 本文主要讲解隐语义模型（LFM），它的核心思想是通过发掘隐含特征(latent factor) 来完成推荐任务。 一、引例 在讲解LFM之前，先看个例子：
推荐系统笔记：基于潜在因子模型的协同过滤（latent factor model）
qq_40206371的博客
12-22 2273
1 基本思想 基本思想是利用评分矩阵行和列的高度相关性。数据具有内在的丰富关联性，并且生成的数据矩阵通常可以通过各条目均有数值的低秩矩阵很好地近似。 潜在因子模型被认为是推荐系统中的最新技术。这些模型利用众所周知的降维方法来填充缺失的条目。 降维方法通常用于数据分析的其他领域，以在少量维度中表示底层数据。 降维方法的基本思想是旋转坐标轴，从而消除维度之间的成对相关性。 降维方法的关键思想是可以从不完整的数据矩阵中稳健地...
Latent factor model, LFM
zhao_crystal的博客
11-11 749
1. LFM算法概述 对于基于邻域的机器学习算法来说，如果要给一个用户推荐商品，那么有两种方式。 一种是基于物品的，另一种是基于用户的。 基于物品的是，从该用户之前的购买商品中，推荐给他相似的商品。 基于用户的是，找出于该用户相似的用户，然后推荐给他相似用户购买的商品。 但是，推荐系统除了这两种之外，还有其他的方式。例如如果知道该用户的兴趣分类，可以给他推荐该类别的商品。 为了实现这一功能，我们需要根据用户的行为数据得到用户对于不同分类的兴趣，以及不同商品的类别归属。 1.1 类别归属 根据
潜在因子模型（Latent Factor Model）差分隐私+拉普拉斯噪声证明
Python领域优质萌新学习笔记
03-22 1052
潜在因子模型（Latent Factor Model）是一种用于矩阵分解的模型，它将数据矩阵分解为两个低维矩阵的乘积，其中一个矩阵表示用户和潜在特征之间的关系，另一个矩阵表示物品和相同的潜在特征之间的关系。，它们的条件概率比值只与噪声量有关，而与原始数据无关，并且添加的噪声量是可区分的和随机的。，它们的条件概率比值只与噪声量有关，而与原始数据无关，并且添加的噪声量是可区分的和随机的。接下来，我们需要证明噪声是随机的，即对于任何两个相邻的数据集。根据拉普拉斯机制的性质，添加的拉普拉斯噪声的敏感度为。
实现lfm_LFM(latent factor model)隐语义模型核心思想-总结
weixin_29663861的博客
01-13 442
LFM(latent factor model)隐语义模型核心思想是通过隐含特征联系用户兴趣和物品。 相比USerCF算法(基于类似用户进行推荐)和ItemCF(基于类似物品进行推荐)算法；我们还可以直接对物品和用户的兴趣分类。对应某个用户先得到他的兴趣分类，确定他喜欢哪一类的物品，再在这个类里挑选他可能喜欢的物品。基于上面的思想，基于兴趣分类的方法大概需要解决3个问题： ①：如何对物品分类 ②：...
【机器学习】LFM（Latent Factor Model）
你坏坏a大喵
04-20 3146
LFM（Latent Factor Model） 参考了[Key_Ky博客](%28http://www.cnblogs.com/Key-Ky/p/3579363.html%29)的潜在矩阵分解的代码，实践了一下。[图及公式取自Harry Huang博客](http://blog.csdn.net/harryhuang1990/article/details/9924377)
推荐系统----Latent Factor Models
I am not a quitter.
10-26 4818
The Netflix Prize BellKor Recommendation System
隐语义LFM模型代码
03-02
隐语义模型（Latent Factor Model, LFM）通过引入潜在因子来表示用户和物品之间的关系，从而能够更好地捕捉数据中的隐藏模式。下面是一个基于矩阵分解方法的简单隐语义模型实现。 #### 数据准备 为了训练LFM模型，...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值