Task3 矩阵分解

1. 隐语义模型与矩阵分解

协同过滤算法的特点就是完全没有利用到物品本身或者是用户自身的属性， 仅仅利用了用户与物品的交互信息就可以实现推荐，是一个可解释性很强， 非常直观的模型， 但是也存在一些问题。

第一个就是处理稀疏矩阵的能力比较弱， 所以为了使得协同过滤更好处理稀疏矩阵问题， 增强泛化能力， 从协同过滤中衍生出矩阵分解模型(Matrix Factorization,MF)或者叫隐语义模型, 两者差不多说的一个意思， 就是在协同过滤共现矩阵的基础上， 使用更稠密的隐向量表示用户和物品， 挖掘用户和物品的隐含兴趣和隐含特征， 在一定程度上弥补协同过滤模型处理稀疏矩阵能力不足的问题。

2. 隐语义模型

隐语义模型最早在文本领域被提出，用于找到文本的隐含语义。在2006年， 被用于推荐中， 它的核心思想是通过隐含特征（latent factor）联系用户兴趣和物品（item）， 基于用户的行为找出潜在的主题和分类， 然后对item进行自动聚类，划分到不同类别/主题(用户的兴趣)。

1. 潜在因子—— 用户矩阵Q
   这个矩阵表示不同用户对于不同元素的偏好程度， 1代表很喜欢， 0代表不喜欢， 比如下面这样：

2. 潜在因子——音乐矩阵P
   表示每种音乐含有各种元素的成分， 比如下表中， 音乐A是一个偏小清新的音乐， 含有小清新的Latent Factor的成分是0.9， 重口味的成分是0.1， 优雅成分0.2…

利用上面的这两个矩阵， 我们就能得出张三对音乐A的喜欢程度：

张三对小清新的偏好 * 音乐A含有小清新的成分 + 张三对重口味的偏好 * 音乐A含有重口味的成分 + 张三对优雅的偏好 * 音乐A含有优雅的成分…,

下面是对应的两个隐向量：

根据隐向量其实就可以得到张三对音乐A的打分，即： $$0.6\ast 0.9+0.8\ast 0.1+0.1\ast 0.2+0.1\ast 0.4+0.7\ast 0=0.69$$
按照这个计算方式， 每个用户对每首歌其实都可以得到这样的分数， 最后就得到了我们的评分矩阵：

这里的红色表示用户没有打分，我们通过隐向量计算得到的。

上面例子中的小清晰， 重口味， 优雅这些就可以看做是隐含特征， 而通过这个隐含特征就可以把用户的兴趣和音乐的进行一个分类， 其实就是找到了每个用户每个音乐的一个隐向量表达形式（embedding的原理其实也是这样， 那里是找到每个词的隐向量表达）， 这个隐向量就可以反映出用户的兴趣和物品的风格，并能将相似的物品推荐给相似的用户等。 有没有感觉到是把协同过滤算法进行了一种延伸， 把用户的相似性和物品的相似性通过了一个叫做隐向量的方式进行表达

但是， 真实的情况下我们其实是没有上面那两个矩阵的， 音乐那么多， 用户那么多， 我们没有办法去找一些隐特征去表示出这些东西， 另外一个问题就是即使能表示也不一定准， 对于每个用户或者每个物品的风格，我们每个人都有不同的看法。 所以事实上， 我们有的只有用户的评分矩阵， 也就是最后的结果， 并且一般这种矩阵长这样：

这种矩阵非常的稀疏，如果直接基于用户相似性或者物品相似性去填充这个矩阵是不太容易的， 并且很容易出现长尾问题， 所以矩阵分解就可以比较容易的解决这个问题。

矩阵分解模型其实就是在想办法基于这个评分矩阵去找到上面例子中的那两个矩阵， 也就是用户兴趣和物品的隐向量表达， 然后就把这个评分矩阵分解成Q和P两个矩阵乘积的形式， 这时候就可以基于这两个矩阵去预测某个用户对某个物品的评分了。 然后基于这个评分去进行推荐。这就是矩阵分解算法的原理。

3. 矩阵分解算法的原理

在矩阵分解的算法框架下， 我们就可以通过分解协同过滤的共现矩阵来得到用户和物品的隐向量， 就是上面的用户矩阵Q和物品矩阵P， 这也是“矩阵分解”名字的由来。

矩阵分解算法将$m\times n$维的共享矩阵$R$分解成$m\times k$维的用户矩阵$U$和$k\times n$维的物品矩阵$V$相乘的形式。 其中$m$是用户数量， $n$是物品数量， $k$是隐向量维度， 也就是隐含特征个数， 只不过这里的隐含特征变得不可解释了， 即我们不知道具体含义了， 要模型自己去学。$k$的大小决定了隐向量表达能力的强弱， $k$越大， 表达信息就越强， 理解起来就是把用户的兴趣和物品的分类划分的越具体。

那么如果有了用户矩阵和物品矩阵的话， 我们就知道了如果想计算用户$u$对物品$i$的评分， 只需要
$$\mathrm{Preference}(u,i)=r_{ui}=p_u^T{q}_i=\sum _{f=1}^F{p}_{u,k}{q}_{k,i}$$
这里的$p_u$就是用户$u$的隐向量， 就类似与上面的张三向量， 注意这是列向量， $q_i$是物品$i$的隐向量， 就类似于上面的音乐A向量， 这个也是列向量， 所以才用了$p_u^T{q}_i$得到了一个数， 也就是用户的最终评分， 计算过程其实和上面例子中一样。 这里的$p_{u,k}$和$q_{i,k}$是模型的参数， 也正是我们想办法要计算的， $p_{u,k}$度量的是用户$u$的兴趣和第$k$个隐类的关系， 而$q_{i,k}$度量了第$k$个隐类和物品$i$之间的关系。

4. 矩阵分解算法的求解

谈到矩阵分解， 最常用的方法是特征值分解(EVD)或者奇异值分解(SVD）， 关于这两个的具体原理可以参考下面的链接奇异值分解(SVD)的原理详解及推导，但是这两种方式在这里不适用。

首先是EVD， 它要求分解的矩阵是方阵， 显然用户-物品矩阵不满足这个要求， 而传统的SVD分解， 会要求原始矩阵是稠密的， 而我们这里的这种矩阵一般情况下是非常稀疏的， 如果想用奇异值分解， 就必须对缺失的元素进行填充， 而一旦补全， 空间复杂度就会非常高， 且补的不一定对。 然后就是SVD分解计算复杂度非常高， 而我们的用户-物品矩阵非常大， 所以基本上无法使用。

5. Basic SVD

2006年的Netflix Prize之后， Simon Funk公布了一个矩阵分解算法叫做Funk-SVD, 后来被Netflix Prize的冠军Koren称为Latent Factor Model(LFM)。 Funk-SVD的思想很简单： 把求解上面两个矩阵的参数问题转换成一个最优化问题， 可以通过训练集里面的观察值利用最小化来学习用户矩阵和物品矩阵。

我们上面已经知道了， 如果有了用户矩阵和物品矩阵的话， 我们就知道了如果想计算用户$u$对物品$i$的评分， 只需要
$$\mathrm{Preference}(u,i)=r_{ui}=p_u^T{q}_i=\sum _{f=1}^F{p}_{u,k}{q}_{k,i}$$
而现在， 我们有真实的$r_{u,i}$, 但是没有$p_u^T{q}_i$, 那么我们可以初始化一个啊， 随机初始化一个用户矩阵$U$和一个物品矩阵$V$， 然后不就有$p_u^T{q}_i$了？ 当然你说， 随机初始化的肯定不准啊， 但是， 有了$p_u^T{q}_i$之后， 我们就可以计算一个猜测的${\hat{r}}_{ui}$, 即
$${\hat{r}}_{ui}=p_u^T{q}_i$$

这时候， 肯定是不准， 那么这个猜测的和真实值之间就会有一个误差：
$$e_{ui}=r_{ui}-{\hat{r}}_{ui}$$

有了误差， 我们就可以计算出总的误差平方和：
$$\mathrm{SSE}=\sum _{u,i}{e}_{ui}^2=\sum _{u,i}{\left(r_{ui}-\sum _{k=1}^K{p}_{u,k}{q}_{k,i}\right)}^2$$
有了损失， 我们就可以想办法进行训练， 把SSE降到最小， 那么我们的两个矩阵参数就可以算出来。所以就把这个问题转成了最优化的的问题， 而我们的目标函数就是：

$$\underset{{\mathbf{q}}^{\ast },{\mathbf{p}}^{\ast }}{\min }\sum _{(u,i)\in K}{\left({\mathbf{r}}_{\mathrm{u}\mathrm{i}}-p_u^T{q}_i\right)}^2$$

这里的$K$表示所有用户评分样本的集合。

有了目标函数， 那么我们就可以使用梯度下降算法来降低损失。 那么我们需要对目标函数求偏导， 得到梯度。 我们的目标函数如果是上面的SSE， 我们下面来推导一下最后的导数：

$$\mathrm{SSE}=\sum _{u,i}{e}_{ui}^2=\sum _{u,i}{\left(r_{ui}-\sum _{k=1}^K{p}_{u,k}{q}_{k,i}\right)}^2$$
首先我们求SSE在$p_{u,k}$（也就是Q矩阵的第$u$行$k$列）的梯度：
$$\frac{\partial }{\partial p_{u,k}}SSE=\frac{\partial }{\partial p_{u,k}}\left(e_{ui}^2\right)=2e_{ui}\frac{\partial }{\partial p_{u,k}}{e}_{ui}=2e_{ui}\frac{\partial }{\partial p_{u,k}}\left(r_{ui}-\sum _{k=1}^K{p}_{u,k}{q}_{k,i}\right)=-2e_{ui}{q}_{k,i}$$
然后求SSE在$q_{k,i}$处(也就是V矩阵的第$k$行$i$列）的梯度：

$$\frac{\partial }{\partial q_{k,i}}SSE=\frac{\partial }{\partial p_{k,i}}\left(e_{ui}^2\right)=2e_{ui}\frac{\partial }{\partial p_{k,i}}{e}_{ui}=2e_{ui}\frac{\partial }{\partial p_{k,i}}\left(r_{ui}-\sum _{k=1}^K{p}_{u,k}{q}_{k,i}\right)=-2e_{ui}{p}_{u,k}$$
为了让公式更为简单， 把前面的2给他越掉， 即可以令SSE等于：
$$\mathrm{SSE}=\frac{1}{2}\sum _{u,i}{e}_{ui}^2=\frac{1}{2}\sum _{u,i}{\left(r_{ui}-\sum _{k=1}^K{p}_{uk}{q}_{ki}\right)}^2$$

这时候， 梯度就没有前面的系数了， 有了梯度， 接下来我们就可以用梯度下降算法更新梯度了：
$$\begin{gathered} p_{u,k}=p_{u,k}-\eta (-e_{ui}{q}_{k,i})=p_{u,k}+\eta e_{ui}{q}_{k,i} \\ {q}_{k,i}=q_{k,i}-\eta (-e_{ui}{p}_{u,k})=q_{k,i}+\eta e_{ui}{p}_{u,k} \end{gathered}$$

这里的$\eta$是学习率， 控制步长用的， 但上面这个有个问题就是当参数很多的时候， 就是两个矩阵很大的时候， 往往容易陷入过拟合的困境， 这时候， 就需要在目标函数上面加上正则化的损失， 就变成了RSVD， 关于RSVD的详细内容， 可以参考下面给出的链接， 由于篇幅原因， 这里不再过多的赘述。

但在实际中， 单纯的${\hat{r}}_{ui}=p_u^T{q}_i$也是不够的， 还要考虑其他的一些因素， 比如一个评分系统， 有些固有的属性和用户物品无关， 而用户也有些属性和物品无关， 物品也有些属性和用户无关。 因此， Netfix Prize中提出了另一种LFM， 在原来的基础上加了偏置项， 来消除用户和物品打分的偏差， 即预测公式如下：
$${\hat{r}}_{ui}=\mu +b_u+b_i+p_u^T\cdot q_i$$
这个预测公式加入了3项偏置$\mu ,b_u,b_i$, 作用如下：

• $\mu$: 训练集中所有记录的评分的全局平均数。 在不同网站中， 因为网站定位和销售物品不同， 网站的整体评分分布也会显示差异。 比如有的网站中用户就喜欢打高分， 有的网站中用户就喜欢打低分。 而全局平均数可以表示网站本身对用户评分的影响。
• $b_u$: 用户偏差系数， 可以使用用户$u$给出的所有评分的均值， 也可以当做训练参数。 这一项表示了用户的评分习惯中和物品没有关系的那种因素。 比如有些用户比较苛刻， 对什么东西要求很高， 那么他评分就会偏低， 而有些用户比较宽容， 对什么东西都觉得不错， 那么评分就偏高
• $b_i$: 物品偏差系数， 可以使用物品$i$收到的所有评分的均值， 也可以当做训练参数。 这一项表示了物品接受的评分中和用户没有关系的因素。 比如有些物品本身质量就很高， 因此获得的评分相对比较高， 有的物品本身质量很差， 因此获得的评分相对较低。

加了用户和物品的打分偏差之后， 矩阵分解得到的隐向量更能反映不同用户对不同物品的“真实”态度差异， 也就更容易捕捉评价数据中有价值的信息， 从而避免推荐结果有偏。 注意此时的$SSE$会发生变化：
$$\begin{array}{l}\mathrm{SSE}=\frac{1}{2}{\sum }_{u,i}{e}_{ui}^2+\frac{1}{2}\lambda {\sum }_u{\left|{\mathbf{p}}_u\right|}^2+\frac{1}{2}\lambda {\sum }_i{\left|{\mathbf{q}}_i\right|}^2+\frac{1}{2}\lambda {\sum }_u{\mathbf{b}}_u^2+\frac{1}{2}\lambda {\sum }_u{\mathbf{b}}_i^2\\ =\frac{1}{2}{\sum }_{u,i}{\left({\mathbf{r}}_{ui}-\mathbf{\mu }-{\mathbf{b}}_u-{\mathbf{b}}_i-{\sum }_{k=1}^K{\mathbf{p}}_{uk}{\mathbf{q}}_{ki}\right)}^2+\frac{1}{2}\lambda {\sum }_u{\left|{\mathbf{p}}_u\right|}^2+\frac{1}{2}\lambda {\sum }_i{\left|{\mathbf{q}}_i\right|}^2+\frac{1}{2}\lambda {\sum }_u{\mathbf{b}}_u^2+\frac{1}{2}\lambda {\sum }_u{\mathbf{b}}_i^2\end{array}$$
此时如果把$b_u$和$b_i$当做训练参数的话， 那么它俩的梯度是：

$$\begin{gathered} \frac{\partial }{\partial b_u}SSE=-e_{ui}+\lambda b_u \\ \frac{\partial }{\partial b_i}SSE=-e_{ui}+\lambda b_i \end{gathered}$$
更新公式为：
$$\begin{array}{rl}{\mathbf{b}}_u& ={\mathbf{b}}_{\mathbf{u}}+\mathbf{\eta }\left({\mathbf{e}}_{ui}-\lambda {\mathbf{b}}_{\mathbf{u}}\right)\\ {\mathbf{b}}_{\mathbf{i}}& ={\mathbf{b}}_{\mathbf{i}}+\mathbf{\eta }\left({\mathbf{e}}_{\mathbf{u}i}-\lambda {\mathbf{b}}_{\mathbf{i}}\right)\end{array}$$
而对于$p_{u,k}$和$p_{k,i}$， 导数没有变化， 更新公式也没有变化。