#论文题目:MCL: Mixed-Centric Loss for Collaborative Filtering(MCL:混合中心损失用于协同过滤)
#论文地址:https://www.cs.toronto.edu/~mvolkovs/WWW2022_MCL.pdf
#论文源码开源地址:https://github.com/layer6ai-labs/MCL/tree/master/code
#论文所属会议:WWW 2022
一、引言 & 创新点
推荐系统模型中通常采用逐点损失(CE)和成对损失(BPR),很少探索如何从可用的偏好信息中最优地提取信号。对负样本进行采样后,通常利用正样本和采样的负样本来更新权重。这可能会忽略来自其他用户和商品的有价值的全局信息,并不能得到最终好的结果。
本文提出的MCL方法解决了上述问题。MCL方法是在用其他方法(如:CML、LightGCN、NeuMF等)得到网络中各节点的表示向量后,在进行迭代求解每个节点的向量表示的最优值时,首先挖掘并标记出富含信息的难(正负)样本对,然后为难样本分配更多的权重。加权过程由四个不同的组件组成,并结合了来自其他用户的距离信息,使模型能够更好地学习的表征。
二、实验方法
2.1 样本对的挖掘
此步骤的主要目的是找到难正/负样本。
文章借助了《Xun Wang, Xintong Han, Weilin Huang, Dengke Dong, and Matthew R Scott. 2019. Multi-similarity loss with general pair weighting for deep metric learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.》的相关思想来定义难正/负样本。
以公式表示的话,难正样本是正样本的距离比最小的负样本的距离减阈值
ϵ
\epsilon
ϵ要大的样本。
难负样本是负样本的距离比最大的正样本的距离加阈值
ϵ
\epsilon
ϵ要小的样本。
其中,E表示欧式距离,uj为正样本对{u,j}表示用户和正样本构成的样本对,uk为负样本对{u,j}表示用户和负样本构成的样本对,N和P表示负样本和正样本。在每次迭代中,丢弃不符合难样本定义的商品,更新边距进一步约束距离关系。
下图更加直观的展示出难正/负样本间的关系。
2.2 混合中心损失MCL
通过挖掘样本对之后,可以得到对应的正负样本集合,表示为Pus, Nus。给定一个batch B集合,其中包含m个用户,其损失函数定义为下式,其中λ为边距,α,β控制正负样本的作用,他们都是超参数。第一项缩小难正样本到用户的距离,第二项增大难负样本到用户的距离。
正样本对{u, j}在此损失函数中的权重为:
- 用户-商品中心(w1+):仅和用户-目标商品的距离相关,离用户越远则其越小,使整个变大。
- 同类型中心(w2+):计算的是目标商品和集合中其他难正样本之间的关系,如果目标商品的距离比其他难正样本的距离更大,则w2+就更小,使得变大;这对商品embedding空间具有正则化效果,其中损失倾向于使所有相同类型的商品与用户的距离相似,并且异常值受到强烈惩罚。
- 同批次中心(w3+):w3+表示和同一个batch中的其他用户进行比较,提供了跨用户的额外一致性,其中损失旨在将所有正样本放置在每个用户的相同距离内。距离明显更远的样本对具有更大的整体权重。
同理,负样本对{u, k}在此损失函数中的权重为:
下图介绍了三种不同权重部分的图例。圆圈代表用户,三角形代表物品,线的长度代表节点对之间的距离,线的宽度代表节点对的权重
最后作者和主流数据蒸馏模型进行复杂度分析,并证明MCL方法在复杂度上和其他主流模型持平并且优于个别模型。
三、数据集
本文数据集选取4种数据集。数据集均在GitHub上开源。
四、结论
本篇文章列举3个(CML、LightGCN、NeuMF)得到向量表征的方法后,通过和2种向量蒸馏方法(SML、SRNS)在4种数据集中进行对比,结果显示MCL方法具有其独特的优越性。