基于矩阵分解的CF算法实现（一）：LFM

LFM也就是前面提到的Funk SVD矩阵分解

LFM原理解析

LFM(latent factor model)隐语义模型核心思想是通过隐含特征联系用户和物品，如下图：

• P矩阵是User-LF矩阵，即用户和隐含特征矩阵。LF有三个，表示共总有三个隐含特征。
• Q矩阵是LF-Item矩阵，即隐含特征和物品的矩阵
• R矩阵是User-Item矩阵，有P*Q得来
• 能处理稀疏评分矩阵

利用矩阵分解技术，将原始User-Item的评分矩阵（稠密/稀疏）分解为P和Q矩阵，然后利用$P\ast Q$还原出User-Item评分矩阵$R$。整个过程相当于降维处理，其中：

• 矩阵值$P_{11}$表示用户1对隐含特征1的权重值

• 矩阵值$Q_{11}$表示隐含特征1在物品1上的权重值

• 矩阵值$R_{11}$就表示预测的用户1对物品1的评分，且$R_{11}=\overrightarrow{P_{1,k}}\cdot \overrightarrow{Q_{k,1}}$
  
  利用LFM预测用户对物品的评分，$k$表示隐含特征数量：
  $$\begin{array}{rl}{\hat{r}}_{ui}& =\overrightarrow{p_{uk}}\cdot \overrightarrow{q_{ik}}\\ & ={\sum _{k=1}}^k{p}_{uk}{q}_{ik}\end{array}$$
  因此最终，我们的目标也就是要求出P矩阵和Q矩阵及其当中的每一个值，然后再对用户-物品的评分进行预测。

损失函数

同样对于评分预测我们利用平方差来构建损失函数：
$$\begin{array}{rl}Cost& =\sum _{u,i\in R}(r_{ui}-{\hat{r}}_{ui}{)}^2\\ & =\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2\end{array}$$
加入L2正则化：
$$Cost=\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2+\lambda (\sum _U{p_{uk}}^2+\sum _I{q_{ik}}^2)$$
对损失函数求偏导：
$$\begin{array}{rl}\frac{\partial }{\partial p_{uk}}Cost& =\frac{\partial }{\partial p_{uk}}[\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2+\lambda (\sum _U{p_{uk}}^2+\sum _I{q_{ik}}^2)]\\ & =2\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})(-q_{ik})+2\lambda p_{uk}\\ & \\ \frac{\partial }{\partial q_{ik}}Cost& =\frac{\partial }{\partial q_{ik}}[\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik}{)}^2+\lambda (\sum _U{p_{uk}}^2+\sum _I{q_{ik}}^2)]\\ & =2\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})(-p_{uk})+2\lambda q_{ik}\end{array}$$

随机梯度下降法优化

梯度下降更新参数$p_{uk}$：
$$\begin{array}{rl}{p}_{uk}& =p_{uk}-\alpha \frac{\partial }{\partial p_{uk}}Cost\\ & =p_{uk}-\alpha [2\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})(-q_{ik})+2\lambda p_{uk}]\\ & =p_{uk}+\alpha [\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})q_{ik}-\lambda p_{uk}]\end{array}$$
同理：
$$\begin{array}{rl}{q}_{ik}& =q_{ik}+\alpha [\sum _{u,i\in R}(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})p_{uk}-\lambda q_{ik}]\end{array}$$
随机梯度下降： 向量乘法 每一个分量相乘 求和
$$\begin{array}{rl}& p_{uk}=p_{uk}+\alpha [(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})q_{ik}-{\lambda }_1{p}_{uk}]\\ & q_{ik}=q_{ik}+\alpha [(r_{ui}-{\sum _{k=1}}^k{p}_{uk}{q}_{ik})p_{uk}-{\lambda }_2{q}_{ik}]\end{array}$$
由于P矩阵和Q矩阵是两个不同的矩阵，通常分别采取不同的正则参数，如${\lambda }_1$和${\lambda }_2$