基于矩阵分解的协同过滤推荐

基于矩阵分解的协同过滤推荐

Traditional SVD

通常SVD矩阵分解指的是SVD奇异值分解，我们姑且将其命名为Traditional SVD（传统并经典着）其公式如下：
$$M_{m\times n}=U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$$

Traditional SVD分解的形式为3个矩阵相乘，中间矩阵为奇异值矩阵。如果想运用SVD分解的话，有一个前提是要求矩阵是稠密的，即矩阵里的元素要非空，否则就不能运用SVD分解

很显然我们的数据其实绝大多数情况下都是稀疏的，因此如果要使用Traditional SVD，一般的做法是先用均值或者其他统计学方法来填充矩阵，然后再运用Traditional SVD分解降维，但这样做明显对数据的原始性造成一定影响

FunkSVD（LFM）

刚才提到的Traditional SVD首先需要填充矩阵，然后再进行分解降维，同时存在计算复杂度高的问题，因为要分解成3个矩阵，所以后来提出了Funk SVD的方法，它不在将矩阵分解为3个矩阵，而是分解为2个用户-隐含特征，项目-隐含特征的矩阵，Funk SVD也被称为最原始的LFM模型，其公式如下：
$$R_{m\times n}=P_{m\times k}{Q}_{k\times n}$$

原理解析

LFM(latent factor model)隐语义模型核心思想是通过隐含特征联系用户和物品，如下图：

• P矩阵是User-LF矩阵，即用户和隐含特征的矩阵
• Q矩阵是LF-Item矩阵，即隐含特征和物品的矩阵
• R矩阵是User-Item矩阵，由P*Q得来
• 能处理稀疏评分矩阵

利用矩阵分解技术，将原始User-Item的评分矩阵（稠密/稀疏）分解为P和Q矩阵，然后利用$P\ast Q$还原出User-Item评分矩阵$R$。整个过程相当于降维处理，其中：

• 矩阵值$P_{11}$表示用户1对隐含特征1的权重值
• 矩阵值$Q_{11}$表示隐含特征1在物品1上的权重值
• 矩阵值$R_{11}$就表示预测的用户1对物品1的评分，$R_{11}=\overrightarrow{P_{1,k}}\cdot \overrightarrow{Q_{k,1}}$

利用LFM预测用户对物品的评分，$k$表示隐含特征数量：$$\begin{array}{rl}{\hat{r}}_{ui}& =\overrightarrow{p_{uk}}\cdot \overrightarrow{q_{ik}}\\ & ={\sum _{k=1}}^k{p}_{uk}{q}_{ik}\end{array}$$

因此最终，我们的目标也就是要求出P矩阵和Q矩阵及其当中的每一个值，然后再对用户-物品的评分进行预测

损失函数

同样对于评分预测我们利用平方差来构建损失函数：
$$\begin{array}{rl}Cost& =\sum _{u,i\in R}(r_{ui}-{\hat{r}}_{ui}{)}^2\\ & =\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2\end{array}$$
加入L2正则化：
$$Cost=\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2+\lambda (\sum _U{p_{uk}}^2+\sum _I{q_{ik}}^2)$$
对损失函数求偏导：
$$\begin{array}{rl}\frac{\partial }{\partial p_{uk}}Cost& =\frac{\partial }{\partial p_{uk}}[\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2+\lambda (\sum _U{p_{uk}}^2+\sum _I{q_{ik}}^2)]\\ & =2\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})(-q_{ik})+2\lambda p_{uk}\\ & \\ \frac{\partial }{\partial q_{ik}}Cost& =\frac{\partial }{\partial q_{ik}}[\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2+\lambda (\sum _U{p_{uk}}^2+\sum _I\\ & \end{array}$$