【推荐系统算法】PMF(Probabilistic Matrix Factorization)

Mnih, Andriy, and Ruslan Salakhutdinov. “Probabilistic matrix factorization.” Advances in neural information processing systems. 2007.

本篇论文发表于2007年NIPS。Ruslan Salakhutdinov来自多伦多大学，16年转入CMU。Andriy Mnih同样来自多伦多大学，师从Hinton。PMF算法（Probabilistic Matrix Factorization）是现代推荐系统的基础算法之一。

##问题描述
设有$N$个用户，$M$部电影。一个评分系统可以用$N\times M$矩阵$R$来表示。
推荐系统问题如下：$R$矩阵中只有部分元素是已知的（用户只给一部分电影打过分），且$R$往往非常稀疏，需要求出$R$缺失的部分。
除了推荐系统，这个模型也可以用来描述任意“成对”作用的系统。例如：由若干球队组成的联赛，两支球队间的历史比分即为$R$的已知元素，需要预测尚未进行的比赛结果。这里$R$是一个方阵。

##基本思路
本文采取low-dimensional factor模型，也称为low rank模型来处理这个问题。其核心思想是：用户和电影之间的关系（即用户对电影的偏好）可以由较少的几个因素的线性组合决定。

例子
用户是否喜欢一部电影取决于三个因素：是娱乐片还是文艺片，是外文片还是华语片，演员是否出名。
用三维向量$x=[0.6, 1.0, -0.2]^T $来描述一个用户（假设取值在[-1,1]之间）：他比较喜欢娱乐片，只看外文片，对演员要求一般，小众一点更好。对于一部电影，用另一个三维向量来描述$y=[0.9, -1.0, 0.8]^T $：这是一部众星云集的-国产-娱乐大作。
可以算出这个用户对于这部电影的喜好程度 $r=x^{T}y=-2.06$ ：相当不喜欢。

用矩阵语言来描述，就是评分矩阵可以分解为两个低维矩阵的乘积$R=U^{T}V$，其中$D\times N$矩阵$U$描述$N$个用户的属性，$D\times M$矩阵$V$描述$M$部电影的属性。
根据矩阵秩的性质，$R$的秩不超过$U,V$的最小尺寸$D$。

实际上，由于系统噪音存在，不可能做出这样的完美分解，另外$R$包含很多未知元素。所以问题转化为：

• 对一个近似矩阵进行分解$\hat{R}=U^{T}V$
• 要求近似矩阵$\hat{R}$在观测到的评分部分和观测矩阵$R$尽量相似
• 为了防止过拟合，需要对$U,V$做某种形式的约束

用贝叶斯观点来说，$R$是观测到的值，$U,V$描述了系统的内部特征，是需要估计的。

##基础PMF模型

使用如下两个假设

• 观测噪声（观测评分矩阵$R$和近似评分矩阵$\hat{R}$之差）为高斯分布
• 用户属性$U$和电影属性$V$均为高斯分布

利用第一个假设，可以写出完整观测矩阵的概率密度函数。其中$\sigma$是观测噪声的方差，人工设定。
$$p(R|U,V)=N(\hat{R},{\sigma }^2)=N(U^{T}V,{\sigma }^2)$$

利用第二个假设，可以写出用户、电影属性的概率密度函数。其中${\sigma }_U,{\sigma }_V$是先验噪声的方差，人工设定。
p ( U ) = N ( 0 , σ U 2 ) , p ( V ) = N ( 0 , σ V 2 ) p(U)=N(0,\sigma_U ^2), p(V )=N(0,\sigma_V ^2) p(U)=N(0,σ