Recommending What Video to Watch Next: A Multitask Ranking System

Time：

Author：Zhe Zhao, Lichan Hong, Li Wei, Jilin Chen, Aniruddh Nath, Shawn Andrews, Aditee Kumthekar, Maheswaran Sathiamoorthy, Xinyang Yi, Ed Chi

 

Abstract

推荐系统中面临的两大问题：

1. 存在潜在冲突的多目标问题
2. 用户反馈中的implicit selection bias，用户点击某个视频不一定是因为他喜欢，可能是因为这个视频的位置靠前，因此使用这些反馈数据进行模型训练，会导致模型越来越偏

 

Model Architecture

这篇论文中介绍的模型是对于Wide&Deep模型的拓展

Shallow Tower (Wide)

使用shallow tower去除selection bias，文中使用的特征有位置特征、位置特征X设备信息（因为不同设备上的位置bias是不同的）等。在serving阶段，把position feature设为missing，用1表示。

 

MMoE (Deep)

多目标排序模型通常使用shared-bottom模型结构，但是对于关联性低的任务，会有损伤。因此，这里使用MMoE进行多目标任务学习。

多目标类别：

1. 参与度目标：点击、观看
2. 满意度目标：喜欢、不喜欢、用户对于推荐的评分

Mixture-of-Experts(MoE)层可以从输入中学习模块化信息，每一个expert可以学习到输入的不同aspect，更好的建模多模态特征空间。所有的experts对于不同的任务是共享的。对于每一个目标，使用一个gating network学习expert的权重。

MoE结构搭在hidden layer之上是因为hidden layer size和input layer size相比会小很多，降低了模型复杂度。

对于任务k，学习n个expert的预测公式如下：

，其中x是lower-level shared hidden embedding，g^k是任务k的gating network，gating network的公式如下：

 

Experiments

线上使用A/B test进行测试，线下使用AUC/squared loss

 

Reference