mf模型 svd++_推荐系统算法（MF、FM、CF、SVD、LFM、SVD++、TItemCF、timeSVD++、模型融合）...

为什么需要矩阵分解？(matrix factorization model)

协同过滤可以解决我们关注的很多问题，但是仍然有一些问题存在，比如：

物品之间存在相关性，信息量并不随着向量维度增加而线性增加

矩阵元素稀疏，计算结果不稳定，增减一个向量维度，导致近邻结果差异很大的情况存在

上述两个问题，在矩阵分解中可以得到解决。原始的矩阵分解只适用于评分预测问题，这里所讨论的也只是针对于评分预测问题。常用的分解算法有SVD和SVD++。

矩阵分解(MF)

目前推荐系统中用的最多的就是矩阵分解方法，在Netflix Prize推荐系统大赛中取得突出效果。以用户-项目评分矩阵为例，矩阵分解就是预测出评分矩阵中的缺失值，然后根据预测值以某种方式向用户推荐。常见的矩阵分解方法有

基本矩阵分解(basic MF)

正则化矩阵分解(Regularized MF)

基于概率的矩阵分解(PMF)

非负矩阵(Non-negative MF

正交非负矩阵(Orthogonal non-negative MF)

pca 与 svd的关系： pca是一种手段，svd是pca求解的方法，svd处理非方阵，当然我们可以通过特征值分解来做pca

简单来说，就是把原来的大矩阵，近似分解成两个小矩阵的乘积，在实际推荐计算时不再使用大矩阵，而是使用分解得到的两个小矩阵。

具体来说，假设用户物品评分矩阵为 R，形状为 mxn，即 m 个用户， n 个物品。我们选择一个很小的数 k，k 比 m 和 n

都小很多，然后通过算法生成两个矩阵 P 和 Q，这两个矩阵的要求如下：P 的形状是 mxk，Q 的形状是 nxk， P 和 Q

的转置相乘结果为 R。也就是说分解得到的矩阵P和Q可以还原成原始的矩阵R。

用公式来描述就是：

其中 R 表示真实的用户评分矩阵，一般有很多缺失值(缺失值表示用户没有对该物品评分)，带尖帽的 R 表示使用分解矩阵预测的用户评分矩阵，它补全了所有的缺失值。

另一个角度

矩阵分解就是把用户和物品都映射到一个 k 维空间中(这里映射后的结果用户用矩阵P表示，物品用矩阵Q表示)，这个 k 维空间不是我们直接看得到的，也不一定具有非常好的可解释性，每一个维度也没有名字，所以常常叫做隐因子。用户向量代表了用户的兴趣，物品向量代表了物品的特点，且每一个维度相互对应，两个向量的内积表示用户对该物品的喜好程度。

因子分解机算法Factorization Machines(FM)

请查看我的另一篇博客

协同过滤算法collaborative filtering(CF)

请查看我的另一篇博客

1.传统的SVD分解

对于如何补全一个矩阵，历史上有过很多的研究。一个空的矩阵有很多种补全方法，而我们要找的是一种对矩阵扰动最小的补全方法。那么什么才算是对矩阵扰动最小呢？一般认为，如果补全后矩阵的特征值和补全之前矩阵的特征值相差不大，就算是扰动比较小。所以，最早的矩阵分解模型就是从数学上的SVD(奇异值分解)开始的。给定m个用户和n个物品，和用户对物品