快手推荐精排模型的发展史

lloyd_chou

已于 2023-02-12 15:53:10 修改

阅读量2.4k

点赞数

分类专栏： ml 算法文章标签：推荐系统

于 2021-07-29 12:39:14 首次发布

本文链接：https://blog.csdn.net/qq_25864747/article/details/119208610

版权

本文介绍了快手推荐系统的进化，包括参数个性化CTR模型PPNet，多目标学习框架MMoE，短期行为序列建模的Transformer模型，以及长期兴趣建模。PPNet通过Gate NN实现参数个性化，提升CTR预测；MMoE解决了单双列业务的多任务学习问题；Transformer利用目标注意力机制优化用户行为序列建模；长期兴趣建模则扩展了用户历史行为的使用，提高模型对长期兴趣的捕获。这些技术的实施显著提升了模型性能和用户体验。

摘要由CSDN通过智能技术生成

1、参数个性化 CTR 模型 - PPNet

　　2019 年之前，快手 App 主要以双列的瀑布流玩法为主，用户同视频的交互与点击，观看双阶段来区分。在这种形式下， CTR 预估模型变得尤为关键，因为它将直接决定用户是否愿意点击展示给他们的视频。彼时业界主流的推荐模型还是以 DNN、DeepFM 等简单的全连接深度学习模型为主。但考虑到某用户个体和视频的共建语义模式在全局用户的共建语义模式基础上会有个性化的偏差，如何在 DNN 网络参数上为不同用户学习一个独有的个性化偏差成为了快手推荐团队优化的方向。在语音识别领域中，2014 年和 2016 年提出的 LHUC 算法（learning hidden unit contributions）核心思想是做说话人自适应（speaker adaptation），其中一个关键突破是在 DNN 网络中，为每个说话人学习一个特定的隐式单位贡献（hidden unit contributions），来提升不同说话人的语音识别效果。借鉴 LHUC 的思想，快手推荐团队在精排模型上展开了尝试。经过多次迭代优化，推荐团队设计出一种 gating 机制，可以增加 DNN 网络参数个性化并能够让模型快速收敛。快手把这种模型叫做 PPNet（Parameter Personalized Net）。据快手介绍，PPNet 于 2019 年全量上线后，显著的提升了模型的 CTR 目标预估能力。

　　如上图所示，PPNet 的左侧是目前常见的 DNN 网络结构，由稀疏特征（sparse features）、嵌入层（embedding layer）、多神经网络层（neural layer）组成。右侧是 PPNet 特有的模块，包括 Gate NN 和只给 Gate NN 作为输入的 id 特征。其中 uid，pid，aid 分别表示 user id，photo id，author id。左侧的所有特征的 embedding 会同这 3 个 id 特征的 embedding 拼接到一起作为所有 Gate NN 的输入。需要注意的是，左侧所有特征的 embedding 并不接受 Gate NN 的反传梯度，这样操作的目的是减少 Gate NN 对现有特征 embedding 收敛产生的影响。Gate NN 的数量同左侧神经网络的层数一致&#