今天分享一篇腾讯在召回阶段的论文,题目为《Distillation based Multi-task Learning: A Candidate Generation Model for Improving Reading Duration》,将多任务学习和蒸馏学习相结合,应用于召回阶段来提升整体的信息流中的浏览时长,一起来看一下。
1、背景
在信息流场景下,为了提升用户体验,阅读时长的建模也十分重要。本文重点关注于召回阶段的阅读时长建模,实践中,面临两方面的挑战:
1)第一个挑战是如何处理阅读时长为0的负样本(即没有点击的负样本),这些负样本的阅读时长为0是因为没有点击,这与有点击但是阅读时长很短的样本有所区别,直接将这些样本的label设定为0有可能会导致不准确的估计。
2)为了解决第一个挑战,一种可以尝试的思路是多任务学习,即一个任务预测ctr,一个任务预测点击后的阅读时长,并结合ESMM的思路进行建模。但是在召回阶段,部署多任务学习模型也是比较困难的。
目前常用的的召回阶段模型是双塔模型,同时,在建模阅读时长方面,大多数的方法是通过单个回归模型,并将未点击的样本的时长设定为0 。而本文为了解决上述两方面的挑战,提出了DMTL(distillation based multi-task learning approach),将多任务学习和模型蒸馏应用于召回阶段的双塔模型中,一起来看一下。