推荐系统基础之矩阵分解

1 隐语义模型与矩阵分解

隐语义模型最早在文本领域被提出，用于挖掘文本的隐含语义。在推荐系统中，隐语义模型的核心思想就是基于用户的行为挖掘用户和物品的潜在特征。那么，如何找出用户和物品的潜在特征呢？矩阵分解就是一个广泛应用的方法。

2 矩阵分解算法(MF)原理

对于一个$U\times I$的用户-物品矩阵，我们选择F作为潜在特征数，将用户-物品矩阵分解成为一个$U\times F$的用户矩阵P和一个$F\times I$的物品矩阵Q，这就是矩阵分解算法。

如何理解矩阵分解呢？举个例子，当我们在进行音乐推荐的时候，发现每个用户都有自己对音乐的偏好，并且对不同的元素有不同的喜好程度，我们将每个用户对各个元素的喜好程度进行量化，就得到下面这个用户矩阵：

同时，不同的歌曲中所含有的各个元素的比例也不一样，量化之后就得到下面这个物品矩阵：

那么要预测张三对音乐A的评分，我们就可以用$0.6\ast 0.9+0.8\ast 0.1+0.1\ast 0.2+0.1\ast 0.4+0.7\ast 0=0.68$
在这个例子中，小清新、重口味、优雅、伤感、五月天就是潜在特征，潜在特征数F就是5。不过，在实际的应用中，我们可能很难解释模型所学习到的潜在特征的具体含义。
最常用的一种矩阵分解方法是SVD分解，虽然名字叫SVD分解，但它只是从矩阵论中的SVD分解借鉴过来的，两者并不是一回事。矩阵论中的SVD分解公式是$A_{m\times n}\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$，把中间的${\Sigma }_{k\times k}$去掉，把A看作是用户-物品矩阵，U看作是用户矩阵，V看作是物品矩阵，这就是基于SVD的矩阵分解了。
基于上面的讨论，我们知道，对于用户u和物品i，在已知用户矩阵P和物品矩阵Q的情况下，我们可以预测其评分为：
$${\hat{r}}_{u,i}=\sum _{f=1}^F{P}_{u,f}{Q}_{f,i}$$
而一开始，我们并不知道P和Q，我们可以先用随机数对P和Q进行初始化（根据经验，通常采用$随机数/\sqrt{F}$作为P和Q矩阵的初始值），然后采用梯度下降来学习P和Q矩阵中的各个参数。于是，经过初始化后，我们得到对每个评分的预测${\hat{r}}_{u,i}$，而该评分的真实值为$r_{u,i}$，因此，预测误差为：
$$e_{u,i}=r_{u,i}-{\hat{r}}_{u,i}$$
采用误差的平方和作为损失函数：
L o s s = 1 2 ∑ u , i e u , i 2 = 1 2 ∑ u , i ( r u , i − r ^ u , i ) 2 = 1 2 ∑ u , i ( r u , i − ∑ f =