推荐系统遇上深度学习(一四二)-[微软&复旦]CTR预估中的对比学习框架CL4CTR

文文学霸

于 2023-01-29 22:30:48 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/abcdefg90876/article/details/128795932

版权

本文介绍了《CL4CTR: A Contrastive Learning Framework for CTR Prediction》论文，该框架针对CTR预估模型的特征表示优化，通过引入对比学习损失，包括Contrastive Loss、Feature Alignment 和 Field Uniformity Loss，有效提升模型性能，尤其是对低频特征的表示。实验表明，CL4CTR能提高模型的AUC并兼容各种基础模型。

摘要由CSDN通过智能技术生成

今天分享的论文为《CL4CTR: A Contrastive Learning Framework for CTR Prediction》，从特征表示角度入手，将多种对比学习损失引入到CTR预估的模型训练中，一起来看一下。

1、背景

主流的CTR预估模型大致可以分为两类，一类是传统的模型，如逻辑回归，FM，FFM等，这些模型仅可以建模低阶的特征交互，另一类是基于深度学习的模型，如DeepFM、wide&Deep等，这些模型可以建模高阶的特征交互来提升模型的预估效果。对于深度学习类的CTR预估模型，大都基于三层的设计范式：Embedding层、特征交互（FI）层和预估层。在这种设计范式下，绝大多数的工作针对特征交互层展开，如xDeepFM、DCN等，对于Embedding层的研究却很少。但在实际训练过程中，大多数CTR模型面临的一个问题是：出现频率高的特征对应的Embedding会被充分学习，出现次数低的特征对应的Embedding无法被充分学习，进一步导致模型的表现是次优的。如在Frappe和ML-tag数据集中，可以看到明显的“长尾”现象，如下图所示：