论文题目: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
论文地址: https://dl.acm.org/citation.cfm?id=3220007
论文发表于: KDD 2018(CCF A类会议)
论文大体内容:
本文主要提出了Multi-gate Mixture-of-Experts(MMoE)的方法,来解决multi-task learning对task相关性敏感的问题,并在实验和真实数据上取得不错的效果;
Motivation:
当前的推荐系统往往会关注多个目标,而为了同时学习多个目标,传统的multi-task learning会通过shared-bottom的方法来训练,但是这样常常会因为多个task之间的相关性较低而导致多个目标都不能学习到很好。
Contribution:
本文作者提出MMoE的方法来解决这个问题,通过给各个expert增加一个gate,来调整某个目标与多个task之间的关系系数,从而达到简单易用且更好的效果。
同时,作者还通过人造数据集,来进行实验证明MMoE模型在task相关性较差的情况下明显比baseline好。
MMoE也应用在线上系统,取得不错的效果。
1. 整体结构可以看下图;
2. 作者构造人造数据的方法如下,比较有趣,值得学习;
3. 传统shared-bottom的模型,对于相关性高的task之间,能取得更好的效果;
4. 其它可参考[1]的详细说明;
参考资料:
[1] https://mp.weixin.qq.com/s/2Rc6W82Iy6rTyWa14Yf9Gg
以上均为个人见解,因本人水平有限,如发现有所错漏,敬请指出,谢谢!