本文介绍了MMOE（Multi-gate Mixture-of-Experts）模型，包括shared-bottom多任务模型、Mixture-of-Experts的概念以及MMOE的核心思想。MMOE通过共享底层网络和专家网络的结合，实现了对不同任务的高效建模，每个专家网络针对特定任务进行特征抽象，并通过门控层学习权重进行加权组合。
一、shared-buttom Mul-task Model
如上图所示，shared-buttom网络位于底部，多个任务共用这一层。往上，k个子任务分别对应一个tower network，每个子任务输出一个目标 ；
二、Mixture-of-Experts
Moe模型用公式可以表示为 ，其中
。其中
是n个expert network，具体来说g产生n个exerts 熵的概率分布， 最终输出时所有experts的带权加和。显然，Moe可以看作基于多个独立模型的集成方法。
三、Multi-gate Mixture-of-Experts
<
最低0.47元/天 解锁文章
1430
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
