矩阵分解

1.隐语义模型

的核心思想是通过隐含特征（latent factor）联系用户兴趣和物品（item）， 基于用户的行为找出潜在的主题和分类， 然后对item进行自动聚类，划分到不同类别/主题(用户的兴趣)。
先说说协同过滤算法， 这样好对比不同：

对于UserCF，首先需要找到和他们看了同样书的其他用户（兴趣相似的用户），然后给他们推荐那些用户喜欢的其他书。
对于ItemCF，需要给他们推荐和他们已经看的书相似的书，比如作者B看了很多关于数据挖掘的书，可以给他推荐机器学习或者模式识别方面的书。
潜在因子—— 用户矩阵Q 这个矩阵表示不同用户对于不同元素的偏好程度， 1代表很喜欢， 0代表不喜欢， 比如下面这样：

潜在因子——音乐矩阵P 表示每种音乐含有各种元素的成分， 比如下表中， 音乐A是一个偏小清新的音乐， 含有小清新的Latent Factor的成分是0.9， 重口味的成分是0.1， 优雅成分0.2…

根据隐向量其实就可以得到张三对音乐A的打分，即： $$0.6\ast 0.9+0.8\ast 0.1+0.1\ast 0.2+0.1\ast 0.4+0.7\ast 0=0.69$$ 按照这个计算方式， 每个用户对每首歌其实都可以得到这样的分数， 最后就得到了我们的评分矩阵：

2. 矩阵分解算法的原理

在矩阵分解的算法框架下， 我们就可以通过分解协同过滤的共现矩阵来得到用户和物品的隐向量， 就是上面的用户矩阵Q和物品矩阵P， 这也是“矩阵分解”名字的由来。

4. Basic SVD

Simon Funk公布了一个矩阵分解算法叫做Funk-SVD, 后来被Netflix Prize的冠军Koren称为Latent Factor Model(LFM)。 Funk-SVD的思想很简单： 把求解上面两个矩阵的参数问题转换成一个最优化问题， 可以通过训练集里面的观察值利用最小化来学习用户矩阵和物品矩阵。
如果有了用户矩阵和物品矩阵的话， 我们就知道了如果想计算用户$u$对物品$i$的评分， 只需要 $$\mathrm{Preference}(u,i)=r_{ui}=p_u^T{q}_i=\sum _{f=1}^F{p}_{u,k}{q}_{k,i}$$ 而现在， 我们有真实的$r_{u,i}$, 但是没有$p_u^T{q}_i$, 那么我们可以初始化一个啊， 随机初始化一个用户矩阵$U$和一个物品矩阵$V$， 然后不就有$p_u^T{q}_i$了？ 当然你说， 随机初始化的肯定不准啊， 但是， 有了$p_u^T{q}_i$之后， 我们就可以计算一个猜测的$\hat{r}ui$, 即 $$\hat{r}ui=p_u^T{q}_i$$
这时候， 肯定是不准， 那么这个猜测的和真实值之间就会有一个误差： $$e_{ui}=r_{ui}-{\hat{r}}_{ui}$$

有了误差， 我们就可以计算出总的误差平方和： $$\mathrm{SSE}=\sum _{u,i}{e}_{ui}^2=\sum _{u,i}(r_{ui}-\sum _{k=1}^K{p}_{u,k}{q}_{}$$