推荐系统笔记：基于矩阵分解（总结篇）

最新推荐文章于 2023-04-17 15:31:27 发布

UQI-LIUWJ

最新推荐文章于 2023-04-17 15:31:27 发布

阅读量284

点赞数

分类专栏：机器学习文章标签：线性代数矩阵机器学习

本文链接：https://blog.csdn.net/qq_40206371/article/details/122143109

版权

机器学习专栏收录该内容

150 篇文章 30 订阅

订阅专栏

推荐系统笔记：无任何限制的矩阵分解_UQI-LIUWJ的博客-CSDN博客

推荐系统笔记：基于SVD的协同过滤_UQI-LIUWJ的博客-CSDN博客

1 矩阵分解 X 协同过滤家族

        很明显，前面几节中各种形式的矩阵分解有很多共同点。所有上述优化公式都使残差矩阵 $R-UV^T$ 的 Frobenius 范数最小化，与此同时因子矩阵 U 和 V 需要满足各种特定的约束。对因子矩阵的不同约束实现了不同的可解释性属性。

         事实上，更广泛的矩阵分解模型系列可以使用任何其他目标函数或约束来强制逼近。这个更广泛的家庭可以写成如下形式：

         在大多数情况下，正则化项被添加到目标函数中以防止过拟合。

1.1 不同的约束

        各种约束通常对因素施加不同类型的可解释性。这种可解释性的两个例子是正交性（SVD分解，提供几何可解释性）和非负性（非负矩阵分解，提供’部分总和‘可解释性）。

        此外，即使这些约束增加了观测值上的误差，当它们具有有意义的语义解释时，它们有时也可以改善未观察条目的准确度。这是因为约束减少了未观察条目的方差，同时增加了偏差。因此，该模型具有更好的泛化性。

        例如，将 U 和 V 中的各一列中的条目固定为1几乎总是会导致更好的性能。

推荐系统笔记：无任何限制的矩阵分解_UQI-LIUWJ的博客-CSDN博客

         选择要使用的正确约束通常取决于数据，并且需要深入了解手头的应用和目标。

2 PLSA

         存在其他形式的因式分解，其中可以为因子分配概率可解释性。

         例如，考虑一个非负一元评级矩阵 R 被视为相对频率分布的场景，其条目总和为 1。



我们可以很容易地将R矩阵规约化到条目之和为1（每个条目除以条目总和）

这种矩阵R的分解可以用一种和SVD类似，但是不是SVD的方法来进行

这种分解只是长得像SVD分解，但实际的内容和SVD分解还是相差甚远：

此时Qk的列、Pk的列不用再是正交的
Qk的每一列、Pk的每一列值都是非负的，每一列数值之和为1
对角矩阵Σk的每个条目（对角线上的值）也均为非负，它们的和也是1

这里我们说明一下，比如我们令此时Qk为 $\begin{pmatrix} u_{11}& u_{12}\\ u_{21}& u_{22} \end{pmatrix}$ ,Pk为 $\begin{pmatrix} v_{11} & v_{12}\\ v_{21} & v_{22} \end{pmatrix}$ ,Σk为 $\begin{pmatrix} \Sigma_1 & 0\\ 0 & \Sigma_2 \end{pmatrix}$

满足如下式子

$\left\{\begin{matrix} u_{11}+u_{21}=1\\ u_{12}+u_{22}=1\\ \Sigma_1+\Sigma_2=1\\ v_{11}+v_{21}=1\\ v_{12}+v_{22}=1 \end{matrix}\right.$

$Q_k \Sigma_k P_k^T=\begin{pmatrix} u_{11}& u_{12}\\ u_{21}& u_{22} \end{pmatrix} \begin{pmatrix} \Sigma_1 & 0\\ 0 & \Sigma_2 \end{pmatrix} \begin{pmatrix} v_{11} & v_{21}\\ v_{12} & v_{22} \end{pmatrix} =\begin{pmatrix} u_{11}\Sigma_1v_{11}+u_{21}\Sigma_1v_{11} & u_{12}\Sigma_2v_{12}+u_{22}\Sigma_2v_{12}\\ u_{11}\Sigma_1v_{21}+u_{21}\Sigma_1v_{21}& u_{12}\Sigma_2v_{22}+u_{22}\Sigma_2v_{22} \end{pmatrix}$

这个矩阵所有条目的和为：

$[u_{11}\Sigma_1v_{11}+u_{21}\Sigma_1v_{11} ]+[u_{12}\Sigma_2v_{12}+u_{22}\Sigma_2v_{12}]+ [u_{11}\Sigma_1v_{21}+u_{21}\Sigma_1v_{21}]+ [u_{12}\Sigma_2v_{22}+u_{22}\Sigma_2v_{22} ]$

$=[(u_{11}+u_{21})\Sigma_1v_{11} ]+[(u_{12}+u_{22})\Sigma_2v_{12}]+ [(u_{11}+u_{21})\Sigma_1v_{21}]+ [(u_{12}+u_{22})\Sigma_2v_{22} ]$

$=\Sigma_1v_{11} +\Sigma_2v_{12}+ \Sigma_1v_{21}+ \Sigma_2v_{22}$

$=\Sigma_1(v_{11}+v_{21}) +\Sigma_2(v_{12}+ v_{22})$

$=\Sigma_1+\Sigma_2$

=1

这种因式分解具有概率解释：矩阵 Qk、Pk 和 Σk 包含创建评分矩阵的生成过程的概率参数。这种方法被称为概率潜在语义分析（PLSA），它可以被视为非负矩阵分解的概率变体。

显然，这种分解的概率性质为其提供了不同类型的可解释性。

3 汇总

这里汇总了几种较为主流的MF模型。需要注意的是，模型的选择取决于问题设置、数据中的噪声以及所需的可解释性水平。没有单一的解决方案可以实现所有这些目标。仔细理解问题域对于选择正确的模型很重要。

模型	限制	目标函数	优点	缺点
无限制矩阵分解	无	frobenius 范数	对于有观测值的条目，可以有很好的准确度适用于大多数情况	对于没有观测值的条目，不一定有很好的准确度缺乏可解释性
SVD	U和V各自的列向量正交	frobenius 范数	很好的几何解释性外推推荐稠密矩阵效果很好	稀疏矩阵效果一般
非负矩阵分解	所有条目非负	frobenius 范数	很好的语义可解释性适用于隐式反馈矩阵
PLSA	所有条目非负所有条目之和为1	有观测值的这些条目的最大概率	很好的语义可解释性适用于隐式反馈矩阵

UQI-LIUWJ

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
推荐系统笔记：基于矩阵分解（总结篇）

1 奇异值分解奇异值分解(SVD)是矩阵分解的一种形式，其中U和V的列被约束为相互正交。相互正交的优点是概念之间可以完全独立，并且可以用散点几何解释它们。然而，这种分解的语义解释通常比较困难，因为这些潜在的向量包含正的和负的量，并且受到它们与其他概念的正交性的限制。对于完全指定的矩阵，利用特征分解方法进行奇异值分解是比较容易的。...
复制链接

扫一扫