推荐系统遇上深度学习(一一七)-[腾讯]结合蒸馏和多任务学习的召回模型

今天分享一篇腾讯在召回阶段的论文，题目为《Distillation based Multi-task Learning: A Candidate Generation Model for Improving Reading Duration》，将多任务学习和蒸馏学习相结合，应用于召回阶段来提升整体的信息流中的浏览时长，一起来看一下。

1、背景

在信息流场景下，为了提升用户体验，阅读时长的建模也十分重要。本文重点关注于召回阶段的阅读时长建模，实践中，面临两方面的挑战：

1）第一个挑战是如何处理阅读时长为0的负样本（即没有点击的负样本），这些负样本的阅读时长为0是因为没有点击，这与有点击但是阅读时长很短的样本有所区别，直接将这些样本的label设定为0有可能会导致不准确的估计。
2）为了解决第一个挑战，一种可以尝试的思路是多任务学习，即一个任务预测ctr，一个任务预测点击后的阅读时长，并结合ESMM的思路进行建模。但是在召回阶段，部署多任务学习模型也是比较困难的。

目前常用的的召回阶段模型是双塔模型，同时，在建模阅读时长方面，大多数的方法是通过单个回归模型，并将未点击的样本的时长设定为0 。而本文为了解决上述两方面的挑战，提出了DMTL（distillation based multi-task learning approach），将多任务学习和模型蒸馏应用于召回阶段的双塔模型中，一起来看一下。

2、D