【GCN-RS】SOTA 对比学习:SimpleX: A Simple and Strong Baseline for Collaborative Filtering (CIKM‘21)

SimpleX: A Simple and Strong Baseline for Collaborative Filtering (CIKM’21)

人大高瓴、华为诺亚方舟和清华深圳院的工作。清华前一阵开源了一个CF的benchmark,这篇文章的作者就是基于这个项目的主要作者。

看了上面两篇文章 (UltraGCN、GF-CF),再结合SGL,我觉得可以设计一个对比学习loss,不需要数据扩增,正例是正样本,负例就是负样本,因为点积就等价于cosine相似度。这样可以利用LightGCN的smoothness (GF-CF),防止负样本over-smoothing (UltraGCN)。果然这篇文章已经这样做了,并且还设计了一个margin,更加make sense。

这篇文章强调,现有的推荐模型都专注于设计复杂庞大的interaction encoder,忽略了loss function和negative sampling。这篇文章实验对比了六种loss的效果和不同负采样比例,并提出了一个cosine contrastive loss (CCL),在11个数据集上对比了29个现有的模型。

Motivation

现有的工作都专注于设计复杂庞大的interaction encoder,确实,为了模型能够建模各种关系,提取各种兴趣,模型复杂度越来越高。但是这样的模型是不利于工业场景的。现有的工作一般都不重视loss函数和负采样比例,一般都是用个BPR loss,负采样比例设为1。文章认为一个合适的loss函数和一个合适的负采样比例要比选什么模型更重要。文章就实验研究了各种loss函数和不同的负采样比例。

文章说的也比较好听,不是批评之前的工作,而是提供一个更强更简单的baseline SimpleX 以便后续的研究工作。好话都让他说了。

SimpleX with CCL

设计的cosine contrastive loss (CCL):
L C C L ( u , i ) = ( 1 − y ^ u i ) + w ∣ N ∣ ∑ j ∈ N max ⁡ (

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值