上一篇中,我们聊到了矩阵分解,在这篇文章的开始,我再为你回顾一下矩阵分解。
回顾矩阵分解
矩阵分解要将用户物品评分矩阵分解成两个小矩阵,一个矩阵是代表用户偏好的用户隐因子向量组成,另一个矩阵是代表物品语义主题的隐因子向量组成。
这两个小矩阵相乘后得到的矩阵,维度和原来的用户物品评分矩阵一模一样。比如原来矩阵维度是mn ,其中m是用户数量,n是物品数量,再假如分解后的隐因子向量是k个,那么用户隐因子向量组成的矩阵就是mk,物品隐因子向量组成的矩阵就是n*k。
得到的这两个矩阵有这么几个特点:
1.每个用户对应一个k维向量,每个物品也对应一个k维向量,就是所谓的隐因子向量;
2.两个矩阵相乘后,就得到了任何一个用户对任何一个物品的预测评分;
所以矩阵分解,所做的事就是矩阵填充。那到底怎么填充呢,换句话也就是说两个小矩阵怎么得到呢?
按照机器学习的套路,就是使用优化算法求解下面这个损失函数:
这个公式由两部分构成:加号左边是误差评分和,加号右边是分解后参数的平方。一个负责模型的偏差,一个负责模型的方差。偏差大的模型欠拟合,方差大的模型过拟合。
有了这个目标后,就要用到优化算法找到能使它最小的参数。优化方法常用的有两个:一个是随机梯度下降(SGD),另一个是交替最小二乘(ALS)。
在实际应用中,交替最小二乘更常用一些,这也是社交巨头Facebook在他们的推荐系统中选择的主要矩阵分解方法,今天,我就专门聊一下交替最小二乘求矩阵分解。
交替最小二乘原理(ALS)
交替最小二乘的核心是交替,什么意思呢?你的任务是找到两个矩阵P和Q,让他们相乘后约等于原矩阵R:
R
m
∗
n
=
P
m
∗
k
∗
Q
n
∗
k
T
R_{m * n} =P_{m * k} * Q_{n * k}^{T}
Rm∗n=Pm∗k∗Qn∗kT
难就难在,P和Q两个都是未知的,如果知道其中一个的话,就可以按照线性代数标准解法求得,比如知道了Q,那么P就可以这样算:
P
m
∗
k
=
R
m
∗
n
∗
Q
n
∗
k
−
1
P_{m*k} =R_{m*n} * Q_{n*k}^{-1}
Pm∗k=Rm∗n∗Qn∗k−1
也就是R矩阵乘以Q矩阵的逆矩阵就得到了结果;反之如果知道了P矩阵,求解Q矩阵也是一样。
交替最小二乘法通过迭代的方式解决了这个难题,具体步骤如下:
1、初始化随机变量Q里面的元素值;
2、把Q矩阵当做已知的,直接用线性代数的方法求得矩阵P;
3、得到了矩阵P后,把p当做已知的,故技重施,回去求解矩阵Q;
4、上面两个过程交替进行,一直到误差可以接收为止。
交替最小二乘法有以下几个优点:
1、在交替的其中一步,也就是假设已知其中一个矩阵求解另一个时,要优化的参数是很容易并行化的;
2、在不那么稀疏的数据集合上,交替最小二乘通常比随机梯度下降要更快地得到结果,事实上这一点就是关于隐式反馈的内容。
隐式反馈
矩阵分解算法,是为解决评分预测问题而产生的。比如说,预测用户会给商品打几颗星,然后把用户可能打高星的商品推荐给用户,
然而事实上却是,用户首先必须先去浏览商品,然后是购买,最后才可能打分。
相比“预测用户会打多少分”,“预测用户会不会去浏览”更加有意义,而且,用户浏览数据远远多于打分评价数据。也就是说,实际上推荐系统关注的是预测行为,也就是隐式反馈。
那如何从解决评分预测问题转向解决预测行为上来呢?这就是另一类问题了:One-Class。
如果把预测用户行为看成一个二分类问题,猜用户会不会做某件事,但实际上收集到的数据只是明确的一类:用户干了某件事,而用户明确不干某件事的数据却没有明确表达。这就是One-Class的由来,One-Class数据也是隐式反馈的通常特点。
对隐式反馈的矩阵分解,需要将交替最小二乘做一些改进,改进后的算法叫做加权交替最小二乘:Weighted-ALS。
这个加权要从哪说起?用户对物品的隐式反馈,通常是可以多次的,后台记录了你查看过这件商品多少次,查看次数越多,就代表你越喜欢这个。也就是说,行为的次数是对行为的置信度反应,也就是所谓的加权。
加权交替最小二乘对隐式反馈:
1、如果用户对物品无隐式反馈则认为评分为0;
2、如果用户对物品有至少一次隐式反馈则认为评分是1,次数作为评分的置信度。
那现在的目标函数在原来的基础上变成这样:
多出来的Cui就是置信度,在计算误差时考虑反馈次数,次数越多,就越可信。置信度一般也不是直接等于反馈次数,根据一些经验,置信度Cui这样计算:
C
u
i
=
1
+
α
C
C_{ui}=1+αC
Cui=1+αC
其中α是一个超参数,需要调教,默认值取40就可以了,C是次数。
这里又引出另一个问题,那些没有反馈的缺失值,就是在我们的假设下,取值为0的评分非常多,有两个原因导致在实际使用时需要注意这个问题:
1、本身隐式反馈就只有正类别是确定的,负类别是假设的。
2、这会导致正负类别非常不平衡,严重倾斜到0评分这边。
因此,不能使用所有的缺失值作为负类别,矩阵分解的初心就是要填充这些值,应对这个问题的做法是负样本采样:挑选一部分缺失值作为负类别即可。
怎么挑?有两个方法:
1、随机均匀采样和正类别一样多;
2、按照物品的热门程度采样;
实践证明,第二种比较靠谱。现在,你想一下,在理想的情况下,什么样的样本最适合做负样本呢?
就是展示给用户了,他也知道了这个物品的存在了,但就是没有对其作出任何反馈。问题是:很多时候我们不能确定用户没有意识到物品的存在呢?还是知道物品的存在而不感兴趣呢?
因此按照物品热门程度采样的思想就是:一个越热门的物品,用户越可能知道它的存在。那这种情况下,用户还没对它有反馈就表明:这很可能就是真正的负样本。
实际上按照热门程度采样构建负样本,和前面提到的文本算法Word2vec学习过程,都用到了类似的负样本采样技巧。
推荐计算
在得到了分解后的矩阵后,相当于每个用户得到了隐因子变量,这是一个稠密向量,用于代表他的兴趣。同时每个物品也得到了一个稠密向量,代表它的语义或主题。两者是一一对应的,用户的兴趣就是表现在物品的语义维度上的。
貌似让用户和物品的隐因子向量两两相乘,计算点积即可得到所有的推荐结果了。实际上复杂度还是很高,尤其对于用户数量和物品数量都巨大的应用,就更不现实。于是Facebook提出了两种解决办法:
第一种,利用一些专门设计的数据结构存储所有物品的隐因子向量,从而实现通过一个用户向量可以返回最相似的k个物品。
于是Facebook给出了自己的开源实现Faiss,类似的开源实现还有Annoy,KGraph,NMSLIB。
其中Facebook开源的Faiss和NMSLIB(Non-Metric Space Library ) 都用到了 ball tree 来存储物品向量。
如果需要动态增加新的物品向量到索引中,推荐使用Faiss ,如果不是,推荐使用NMSLIB或者KGraph。 用户向量则可以存在内存数据中,这样可以在用户访问时,实时产生推荐结果。
第二种:就是拿着物品的隐因子向量先做聚类,海量的物品会减少为少量的聚类。 然后再逐一计算用户和每个聚类中心的推荐分数,给用户推荐物品就变成了给用户推荐物品聚类。
得到物品推荐的聚类后,再从每个聚类中挑选少许几个物品作为最终推荐结果。这样做的好处除了大大减小推荐计算向量之外,还可以控制推荐结果的多样性,因为可以控制在每个类比中选择的物品数量。
总结
在真正的推荐系统的实际应用中,评分预测实际上场景很少,而且数据也很少。因此,相比预测评分,预测用户会对物品干出什么事,会更加有效。
然而这就需要对矩阵分解做一些改进,加权交替最小二乘就是改进后的矩阵分解算法,被Facebook采用在了他们的推荐系统中,这篇文章里,我也详细地解释了这一矩阵分解算法在落地时的步骤和注意事项。
其中,针对One-Class 这种集合,一种常用的负采样构建方法是根据物品的热门程度采样。