SVD++推荐系统

原理

我们把用户的评分行为表示成一个评分矩阵$R$，其中$R[u][i]$就是用户$u$对物品$i$的评分。但用户不会对所有的物品评分，所以这个矩阵里有很多元素都是空的

因此，评分预测从某种意义上说就是对这些元素填空，如果一个用户对一个物品没有评过分，那么推荐系统就要预测这个用户是否是否会对这个物品评分以及会评几分。

所以我们需要寻找一种对矩阵扰动小的补全矩阵的方法。一般认为，如果 补全后矩阵的特征值和补全之前矩阵的特征值相差不大，就算是扰动比较小。所以，早期的矩阵分解模型就是从数学上的SVD（奇异值分解）开始的。但奇异值分解由于计算复杂度很高，所以很难在实际系统上有所应用。

在多次探索之后，我们选择了Simon Funk提出的的SVD分解法（该方法简称为LFM）。其原理简要如下：

从矩阵分解的角度说，如果我们将评分矩阵$R$分解为两个低维矩阵相乘：

$$\hat R=P^TQ$$

其中$P \in R^{f*m}$,$Q \in R^{f*n}$是两个降维后的矩阵。则对用户$u$对物品$i$的评价预测值$\hat R(u,i)=\hat r_{ui}$，可通过以下公式计算：

$$\hat r_{ui}=\sum_f p_{uf}q_{tf}$$
其中 $p_{uf}=P(u,f)$, $q_{if}=Q(i,f)$,则：可以直接通过训练集中 的观察值利用小化RMSE学习 $P$、 $Q$矩阵。

既然我用RMSE作为评测指标，那么如果能找到合适的$P$、$Q$来小化训练集的预测误差，那么应该也能小化测试集的预测误差。因此，我们定义损失函数为：

C(p,q)=∑(u,i)∈Train(rui−r^ui)2=∑(u,i)∈T