【推荐系统算法】DPMF(Dependent Probabilistic Matrix Factorization).上篇

Adams, Ryan Prescott, George E. Dahl, and Iain Murray. “Incorporating
side information in probabilistic matrix factorization with gaussian
processes.” arXiv preprint arXiv:1003.4944 (2010).

对“PMF”这个概念比较陌生的同学请先阅读这篇基础PMF算法。
对“利用MCMC方法积掉后验概率”这句话感到费解的同学可以参看这篇贝叶斯PMF算法。

在PMF中，使用一个关系矩阵$Z$来描述用户对电影的评分。但除了这个基本信息之外，还有一些辅助信息：用户的身份、在网页上的操作、电影的票房、打分发生的时间等。
再以篮球比赛为例，$Z$矩阵存储球队间竞赛得分。而球队球员买卖、伤病情况、主客场、比赛时间都是辅助信息。
这篇文章在PMF的基础上，引入了辅助信息，其方法称为DPMF。作者George Dahl是Hinton的学生。源码和数据都可以下载。本文使用篮球比赛举例。

模型

关系矩阵Z

用$Z$描述队伍间两两比赛的结果：$Z_{mn}$为m，n两队比赛时m队的得分，$Z_{nm}$为n队的得分。
用$x$表示辅助信息，其维度为$D$。基础PMF中的关系矩阵$Z$是一个随机变量，这里的$Z(x)$变成了关于$x$的随机过程。
在一个观测中，$Z(x)$每个位置上的$x$值互不相同。

例子
$x$可能包括比赛的地点和时间。主场/客场会影响发挥，相近似的比赛场次会有相近的结果。但即使知道了时间和地点，比赛仍然存在不确定性。某一特定时刻的$Z(x_0)$是一个随机变量。

和基础PMF类似，$Z$的每一个元素是一个高斯随机变量
$$Z_{m,n}(x)\sim N\left(Y_{m,n}(x),{\sigma }^2\right)=N\left(U_m(x_m)V_n^T(x_n),{\sigma }^2\right)$$

$U$的第m行以及$V$的第n行，对应$Z$中的一个元素mn，故$U$的每一行的$x$取值相同，记为$x_m$，同理$V$的每一行的辅助信息记为$x_n$。例如：只讨论一个辅助信息（时间），则$x_m,x_n$为标量。（后续为简洁起见，有时省略了x的脚标）

其中均值$Y(x)$表示系统内部参数，方差$\sigma$。随机过程$U(x),V(x)$尺寸为$M\times K,N\times K$，为低秩的系统内部参数，是要估计的。

为了在同一场比赛的两队得分间引入相关性（己方得分高$\to$注重进攻$\to$防守弱$\to$对方得分高），用二元高斯来描述对称位置的元素。$\sigma ,\rho$为待估计变量。
[ Z m , n ( x ) Z n , m