svd在推荐系统中的应用

本文主要参考自Yehuda Koren的论文Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model

1 预备知识

1.1 Singular Vector Decomposition （奇异值分解）

对于任意一个m行n列的矩阵A，它必然能被分解为三个矩阵：

$$A=U\Sigma V$$
其中， $\Sigma$是一个对角矩阵，对角线为该矩阵的所有奇异值，如下:
$$\Sigma = \left[ \begin{matrix} \sigma_1 \\ & \sigma_2 \\ & & \ddots \\ & & & \sigma_r \end{matrix} \right]$$
其中r为矩阵A的秩， $\sigma_1,\sigma_2,\cdots,\sigma_r$按从大到小的顺序排列。在实际使用中一般从 $\sigma$中取前k个组成 $\Sigma'$，从U中取出前k列组成U’，从V中取出前k行组成V’，然后将 $\Sigma',U',V'$这三个矩阵相乘，这样得到的矩阵A’和原矩阵A十分相似，k越大，相似度越高。

若只将$\Sigma'$和U’相乘，得到：

$$A=BV',\ where\ B=U'\Sigma'$$
其中B是m行k列的，V’是k行m列的。

1.2 评分矩阵

在推荐系统中一般会有用户对物品的评分矩阵。类似下表格：

用户\物品	物品1	物品2
用户1	5	4
用户2	6	7

用$r_{ui}$表示用户u对物品i的评分。

1.3 Baseline estimates

在实际情况中，有一些物品的评分要比平均分高，有一些用户的打分则可能比平均分低。
使用 $\mu$ 来表示总体的平均分，$b_u$ 表示用户u的打分的平均值相对于$\mu$的偏移量，$b_i$ 表示物品i的得分相对于$\mu$的偏移量，使用$b_{ui}$来表示预测得到的u对i的评分，则预测公式为：

$$b_{ui} = \mu + b_u + b_i$$
通过最小化下式即可训练得到 $b_u$和 $b_i$
$$\Sigma_{(u,i)\in K}((r_{ui}-\mu-b_u-b_i)^2+\lambda_1(b_u^2+b_i^2))$$
其中 $K=\{(u,i)|r_{ui}\ is\ known\}$

2 Basic SVD model

根据上文提到的svd，用户对物品的评分矩阵可以分解为两个矩阵的乘积，将第一个矩阵的每一行作为向量$p_u$分配给每个用户，将第二个矩阵的每一列作为向量$q_i$分配给每个物品。那么就有：

$$\hat{r}_{ui}=p_u^Tq_i$$
$p_u$可以理解为用户u对物品的每个品质的喜好程度， $q_i$可以理解为物品i的每个品质的好坏程度。但是我们并不显示地规定物品有哪些品质，只规定物品的品质的数量，规定的品质的数量越多，模型的精度越高。

再将上面的式子与上面的Baseline estimates结合：

$$\hat{r}_{ui}=\mu+b_u+b_i+p_u^Tq_i$$
使用梯度下降最小化下式即可得到 $b_u,b_i,p_u,q_i$
$$\Sigma_{(u,i\in K)}((r_{ui}-\mu-b_u-b_i-p_u^Tq_i)^2+\lambda(b_u^2+b_i^2+||p_u||^2+||q_i||^2))$$

3 Asymmetric-SVD

在Basic SVD的基础上，使用物品的信息来代替用户的向量$p_u$得到如下公式：

$$\hat{r}_{ui}=b_{ui}+q^T_i(|R(u)|^{-\frac{1}{2}}\Sigma_{j\in R(u)}(r_{uj}-b_{uj})x_j+|N(u)|^{-\frac{1}{2}}\Sigma_{j\in N(u)}y_j)$$
其中R(u)为用户u评价过的物品的集合，相当于用户对推荐系统的显示的反馈。N(u)为用户u浏览过但是没有评分的物品的集合，相当于用户对推荐系统的隐式的反馈。
这个模型与Basic SVD相比的一个好处是当需要预测一个新的用户对物品的评分时，不需要再重新训练模型，只要用户对系统给出了反馈即可进行预测。
但是如果有新的物品被加进推荐系统的话则需要重新训练模型。

4 SVD++

svd++在基础svd的基础上加上了用户的隐式反馈。

$$\hat{r}_{ui}=b_{ui}+q^T_i(p_u+|N(u)|^{-\frac{1}{2}}\Sigma_{j\in N(u)}y_j)$$
根据原作者的实验，svd++与前两种算法相比预测的准确率更高，但是并不具备ASVD的优势。

5 SVD++与邻居模型相结合

5.1 邻居模型

用$S^k(i)$表示与物品i最为相似的k个物品。
令$R^k(i;u)=R(u)\cap S^k(i),\ N^k(i;u)=N(u)\cap S^k(i)$
预测公式为：

$$\hat{r}_{ui}=\mu+b_u+b_i+|R^k(i;u)|^{-0.5}\Sigma_{j\in R^k(i;u)}(r_{uj}-b_{uj})w_{ij}+|N^k(i;u)|^{-0.5}\Sigma_{j\in N^k(i;u)}c_{ij}$$

5.2 结合的模型

我们把svd++和邻居模型的预测公式结合起来:

$$\hat{r}_{ui}=\mu+b_{u}+b_i+q^T_i(p_u+|N(u)|^{-\frac{1}{2}}\Sigma_{j\in N(u)}y_j)\\+|R^k(i;u)|^{-0.5}\Sigma_{j\in R^k(i;u)}(r_{uj}-b_{uj})w_{ij}+|N^k(i;u)|^{-0.5}\Sigma_{j\in N^k(i;u)}c_{ij}$$
根据原作者使用netflix提供的数据集进行的实验，使用这种方式预测出来的准确率最高。

参数训练，使用梯度下降最小化下式：

$$\Sigma_{(u,i)\in K}((r_{ui}-\hat{r}_{ui})^2+\lambda_1(b_u^2+b_i^2)+\lambda_2(||q_i||^2+||p_u||^2+||y_j||^2)\\ +\lambda_3(\Sigma_{j\in R^k(i;u)}w_{ij}^2+\Sigma_{j\in N^k(i;u)}c_{ij}^2))$$