一、shared-buttom Mul-task Model
如上图所示,shared-buttom网络位于底部,多个任务共用这一层。往上,k个子任务分别对应一个tower network,每个子任务输出一个目标 ;
二、Mixture-of-Experts
Moe模型用公式可以表示为 ,其中
。其中
是n个expert network,具体来说g产生n个exerts 熵的概率分布, 最终输出时所有experts的带权加和。显然,Moe可以看作基于多个独立模型的集成方法。
三、Multi-gate Mixture-of-Experts
<