WWW2022|京东提出变分embedding学习框架VELF解决CTR预估冷启动问题

Alleviating Cold-start Problem in CTR Prediction with A Variational Embedding Learning Framework

Xiaoxiao Xu, Chen Yang, Qian Yu, Zhiwei Fang, Jiaxing Wang, Chaosheng Fan, Yang He, Changping Peng, Zhangang Lin, Jingping Shao 

JD.com

https://arxiv.org/pdf/2201.10980v1.pdf

这篇文章提出一种通用变分embedding学习框架，VELF，用来缓解CTR预估中严重的冷启动问题。

VELF通过缓解由数据稀疏引起的过拟合，进而解决冷启动问题，主要借助两种方法来实现，一是学习概率embedding，二是融入可训练和正则的先验知识，充分利用冷启动用户和广告的丰富side 信息。这两种方法可以自然融入变分推理框架，形成一种端到端的训练流程。

大量实验表明作者们所提VELF的优势。此外，拓展实验表明，参数化和正则化先验相对传统固定先验具有更多的泛化能力。

冷启动主要原因有两个，广告和用户的长尾分布，新用户以及新广告。

CTR预估中基于embedding和神经网络的范式结构图示如下