ALS推荐算法简介

ALS(交替最小二乘法)

ALS (Alternating Least Squares) 交替最小二乘法。ALS 的核心是：打分矩阵R是近似低秩的。换句话说，一个打分矩阵 R 可以用两个小矩阵和的乘积来近似。其基本原理是如果有两个变量需要确定，那ALS先固定第一个变量，然后求解第二个变量。之后固定第二个变量，求解第一个变量。如此交替迭代直至收敛或者达到最大迭代次数。
ALS属于混合CF,同时考虑了user和item两个方面

1.1 原理推导

在推荐系统中，以淘宝为例，在建立用户-物品矩阵的时候，我们会发现物品种类异常丰富，在数据挖掘中，体现为数据的维度非常高，那么把所有的这些用户-物品数据建立一个评分矩阵，将其全部载入内存，然后计算用户vs用户的相似度，或者计算物品vs物品的相似度，导致计算量非常庞大。
那么如何给我们高维的数据降维呢？
ALS假设我们的评分矩阵能分解为两个小矩阵的乘积，“打分矩阵R(mn)”就可以由“用户喜好特征矩阵U(mk)”和“产品特征矩阵V(n*k)
$$R=U\ast V^T$$

M是用户数，n是物品数，k为隐含特征数

2.1.1 ALS

了解ALS的原理后，我们定义ALS的损失函数, 使得目标最小化：
$$L=(R-U{V}^T{)}^2$$
那么有两个未知变量该如何求解呢？
假设在这里只有一个未知变量，我们可以通过给未知参数求导，使得导数为0，便可求解。那么在这里，我们假设其中一个变量已知V，求解出另一个参数U后，然后假设U已知，然后求解V，如此不断迭代，直到满足阈值条件为止。这就是所谓的交替最小二乘法
首先，我们固定变量V, 对U进行求导，有：
$$\frac{\partial L}{\partial U}=-2\ast (R-U{V}^T{)}^2$$
$$=>U{V}^{T}V=RV$$
$$=>U=RV\ast (V^{T}V{)}^{-1}$$
同理，我们固定变量U, 对V进行求导，有：
$$\frac{\partial L}{\partial V}=-2\ast U^T\ast (R-U\ast V^T{)}^2=0$$
$$=>U^{T}R=U^{T}U{V}^T$$
$$=>V^T=(U^{T}U{)}^{-}1U^{T}R$$
$$=>V=R^{T}U(U^{T}U{)}^{-1}$$
是实对称矩阵，实对称阵的转置等于本身( $A^T=A$)，所以( U^TU)直接去掉转置符号。

2.1.2 ALS-L2正则化

加入正则化项是为了防止过拟合，正则化项对参数进行惩罚，缩小参数范围，从而提高模型的泛化能力。
在基础的ALS代价函数上上加入一个L2正则化项，那么ALS-L2为：
$$L_{ALS-L2}=(R-U{V}^T{)}^2+\lambda (|U{|}^2+|V{|}^2)$$

按照7.1.1中推导算法原则，对U,V进行求解
首先，我们固定变量V, 对U进行求导，有：
∂ L ∂ U = − 2 ∗ ( R − U V T