多任务学习-MMOE-Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
针对多任务学习的应用场景,MMOE论文提出了多门多专家的混合结构的多任务学习方法,如下图c所示。针对其他的经典算法,比如a-硬共享share-bottom结构的方式,引入了一组不同的专家网络;针对b-MOE结构,扩展了门网络的数量,使得网络结构对于多任务的相关性较低时,能够更好的优化。
原创
2022-09-04 21:33:16 ·
337 阅读 ·
1 评论