论文笔记：Probabilistic Matrix Factorization

一、基本信息

论文题目：《Probabilistic Matrix Factorization》

发表时间：NIPS  2007

论文作者及单位：

论文地址：https://dl.acm.org/citation.cfm?id=2981720

 

二、摘要

       许多现有的协作过滤方法既不能处理非常大的数据集，也不能轻松处理评级很少的用户。在本文中，我们提出了概率矩阵分解（PMF）模型，它与观测的数量成线性关系，更重要的是，它在大型、稀疏和非常不平衡的NetFlix数据集上表现良好。我们进一步扩展了PMF模型，在模型参数上加入一个自适应先验，并展示了如何自动控制模型容量。最后，我们介绍了一个受约束的PMF模型版本，该模型基于这样一个假设：对类似电影集进行评级的用户可能有类似的偏好。由此得到的模型对于评级很少的用户能够更好地概括。当多个PMF模型的预测与受限Boltzmann机器模型的预测进行线性组合时，我们得到的误差率为0.8861，比NetFlix自身系统的得分高出近7%。

 

三、主要内容与工作

1、分析了现有的协同过滤算法的不足，主要有以下几点：

• 除了基于矩阵分解的方法外，其他协同过滤方法都不能很好地扩展到大型数据集。
• 现有的大多数算法都很难对收评分记录很少的用户做出准确的预测。在协同过滤社区中，一个常见的做法是删除评分数量少于最小值的所有用户

2、本文的目标是提出一种概率算法，该算法能随观测次数线性缩放，并能很好地处理非常稀疏和不平衡的数据集，如netflix数据集。在第2节中，我们提出了概率矩阵分解（PMF）模型，将用户偏好矩阵建模为两个低级用户和电影矩阵的乘积。在第3节中，我们扩展了PMF模型，将自适应优先级包括在电影和用户特征向量上，并展示了如何使用这些优先级自动控制模型复杂性。在第4节中，我们介绍了一个受约束的PMF模型版本，该模型基于这样一个假设：对类似电影集进行评级的用户具有相似的偏好。在第5节中，我们报告了实验结果，表明PMF明显优于标准SVD模型。我们还表明，具有可学习先验的受限PMF和PMF显著提高了模型性能。我们的结果表明，受限的PMF在为评分记录很少的用户做出更好的预测方面尤其有效。

 

四、总结

        训练PMF模型的有效性来自于对模型参数和超参数的点估计，而不是推断它们的完全后验分布。如果我们采用完全贝叶斯方法，我们会将超先验置于超参数之上，并使用MCMC方法[5]进行推理。虽然这种方法的计算成本更高，但初步结果强烈表明，对所提出的PMF模型进行完全贝叶斯处理将导致预测精度显著提高。

 

同样公式很多，以后用到该模型时再回来补充