实时注意力lookalike模型RALM在推荐系统中的应用

Real-time Attention Based Look-alike Model for Recommender System

Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin 

WeiXin Group, Tencent Inc.

https://arxiv.org/pdf/1906.05022.pdf

最近，深度学习模型在内容推荐系统中的作用越来越重要。但是，尽管推荐效果明显提升，但是马太效应也愈发明显。

随着头部内容越来越流行，很多长尾内容很难及时曝光，因为长尾内容缺乏行为特征。该问题对推荐的质量和多样性都有不良影响。为了解决这种问题，look-alike算法对于高质量长尾内容扩展人群不失为一种好的选择。

但是，传统look-alike模型虽然在在线广告中广泛应用，并不适用于推荐系统，因为推荐系统对实时性和效果要求比较严格。

这篇文章提出一种实时注意力look-alike模型，RALM，用于推荐系统，该模型可以解决实时和有效性相互冲突的挑战。RALM根据种子用户相似性预测来实现实时lookalike人群扩散，利用优化用户表示学习和lookalike学习模型来提升有效性。

在用户表示学习中，作者们提出一种新的神经网络结构，注意力聚合层，用于替换连接层，这可以显著提升多域特征学习的表达能力。另外，考虑到种子用户的多样性，作者们针对特定定向用户，设计了全局注意力单元和局部注意力单元来学习鲁棒和自适应的种子用户表示。

此外，作者们还引入了种子用户聚类机制，不仅可以降低注意力单元预测的时间复杂度，同时还可以最小化种子信息的损失。

实验结果表明，RALM相对其他流行lookalike模型效果更好，已经成功部署在微信的看一看推荐系统中，在多样性和推荐质量方面都有大幅提升。这应该是首次将实时look-alike模型用于推荐系统中。

推荐系统中的人群扩展需要满足以下几个条件

现有方法有以下几种

实时lookalike模型的挑战有以下几个

这篇文章的主要贡献如下