【推荐系统算法】BPMF(Bayesian Probabilistic Matrix Factorization)

Salakhutdinov, Ruslan, and A. Mnih. “Bayesian probabilistic matrix factorization using markov chain monte carlo.” International Conference on Machine Learning 2008:880-887.

对PMF模型以及应用场景不熟悉的同学可以先阅读这篇基础PMF。
本论文的模型和前文类似，但在求解时，是从贝叶斯角度而不是传统概率角度出发：不再把系统参数当做一个固定值估计，而是作为一个服从某种分布的随机变量，转而估计该分布的参数。

问：明天什么天气？ 传统观点估计：呃，晴天吧。 贝叶斯观点估计：60%晴天，40%下雨。传统观点估计：你个心机婊。

模型

用$N\times M$关系矩阵$R$来描述$N$个用户给$M$部电影的打分。这里$R$为观测值。
$$p(R)\sim N(R|U^{T}V,{\alpha }^{-1})=\prod _{ij}N(R_{ij}|U_i^T{V}_j,{\alpha }^{-1})$$

矩阵高斯函数等于其元素高斯函数的乘积。其中标量$\alpha$为精度，等价于协方差的倒数（这样写是为了后续计算方便）。
$R$的各个位置（即各次观测）的精度相同。

$U,V$尺寸为$N\times D,M\times D$，也服从高斯分布。（在基础PMF中，U,V都是待求的固定值）
$$p(U)\sim N(U|{\mu }_U,{\Lambda }_U^{-1})=\prod _{i}N(U_i|{\mu }_U,{\Lambda }_U^{-1})$$

$$p(V)\sim N(V|{\mu }_V,{\Lambda }_V^{-1})=\prod _{j}N(V_j|{\mu }_V,{\Lambda }_V^{-1})$$

所有用户共享一组超参数${\mu }_U,{\Lambda }_U$，尺寸为$D\times 1,D\times D$。所有电影同样共享一组超参数${\mu }_V,{\Lambda }_V$。
超参数$\mu ,\Lambda$服从Gaussian-Wishart分布，表示为一个均值的高斯分布，以及一个协方差的威沙特分布的乘积。
$$p\left(\mu ,\Lambda \right)\sim N(\mu |{\mu }_0,({\beta }_0\Lambda {)}^{-1})\cdot W(\Lambda |W_0,{\nu }_0)$$

其中${\mu }_0=0,W_0=I,{\nu }_0=D$。为书写简便，记为 Θ U = { μ U , Λ U } \Theta_U=\{\mu_U,\Lambda_U\} ΘU​={ μU​,ΛU​}, Θ V = { μ V , Λ V } \Theta_V=\{ \mu_V,\Lambda_V \} ΘV​={ μV​,ΛV​}。

预测

用$R^{\ast }$表示预测出的关系矩阵。在贝叶斯观点下，推荐问题转化为：已知观测矩阵$R$，求预测矩阵的概率$p(R^{\ast }|R)$。
这个概率本身非常难求，所以退 而求其次：按照概率 p ( R ∗ ∣ R ) p(R^*|R)