基于矩阵分解的推荐算法

推荐系统

$\ \ \ \ $我们知道，协同过滤算法（Collaborative Filtering）是最常用的推荐算法，其就是通过从用户（User）的历史行为数据中挖掘出用户的兴趣，并为其推荐可能感兴趣的项（Item），常用的方法有，基于用户的协同过滤算法和基于项的协同过滤算法。
$\ \ \ \ $我们采用常用的相似度度量方法，欧氏距离（Euclidean Distance）、皮尔逊相关系数（Pearson Correlation）、余弦相似度（Cosine Similarity），以上三种度量方法均满足拓扑学度量空间三要素，即非负性、对称性、三角不等性。此处我们不打算展开讲解以上两种算法，而是重点说明基于模型的协同过滤算法中的一种—–矩阵分解（Matrix Factorization），另外大家有兴趣也可以查看一下基于图的推荐算法（PersonalRank）的简单实现点这里。。。 ^-^。

矩阵分解

$\ \ \ \ $此处我们只将用户—商品矩阵$R_{m\times n}$分解为两个矩阵$P_{m\times k}$和$Q_{k\times n}$，使得满足，

$$R_{m\times n}\approx P_{m\times k}\times Q_{k\times n}=\hat{R}_{m\times n}$$ 从而补全那些缺失值，进而为用户推荐那些可能感兴趣的商品。
$\ \ \ \ $我们将使用最小二乘法对那些非缺失的值进行损失评估，即 $$e^2=(r_{ij}-\hat r_{ij})^2=(r_{ij}-\sum_{l=1}^{k}p_{il}\times q_{lj})^2$$ 另外我们使用 $L_2$正则化， $$L_2=\sum_{l=1}^{k}(p_{il}^2+q_{lj}^2)$$ 其中 $i\in[1, m], j\in[1, n]$, k是我们所指定的大小，因此最终的损失函数为， $$loss(p_{il}, q_{lj})=e^2+\frac{\beta}{2}L_2\ \ 其中p_{il},q_{lj}即为分解的两个矩阵中的元素，也就是求解参数$$ 接下来我们就可以使用梯度下降算法求解 $P_{m\times k}$和 $Q_{k\times n}$
$$\nabla_{p}{loss}=\frac{\partial\ loss}{\partial p_{il}}=-2(r_{ij}-\hat{r}_{ij})q_{lj}+\beta p_{il}=-2e_{ij}q_{lj}+\beta p_{il}$$
$$\nabla_{q}{loss}=\frac{\partial\ loss}{\partial q_{lj}}=-2(r_{ij}-\hat{r}_{ij})p_{il}+\beta q_{lj}=-2e_{ij}p_{il}+\beta q_{lj}$$
So…, $$p_{il} = p_{il}-\nabla_ploss$$ $$q_{lj} = q_{lj}-\nabla_qloss$$ 这样我们就可以通过迭代（迭代次数，误差容忍度。。。）直到收敛。
实现完整代码 点这里。。。