【推荐系统】【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

1 论文出处

发表时间：2018

发表会议/期刊：SIGKDD

会议/期刊级别：CCF-A

2 背景

2.1 背景介绍

  在传统多任务学习中，任务间关系被建模为固定和静态的。这意味着模型在训练过程中假设任务之间的关系不会变化，这限制了模型适应任务间可能存在的动态和复杂关系的能力。这种静态关系建模方式可能导致模型无法充分利用任务间的潜在互补信息，从而影响学习效率和泛化能力。此外，当任务间存在负迁移时，固定关系可能加剧这一问题，导致某些任务的性能下降。因此，需要一种能够动态调整任务间关系的MTL方法，以提高模型的灵活性和鲁棒性。

2.2 针对问题

  多任务学习中各个任务之间的关系通常被看作是固定不变的，这就像是让不同任务在一成不变的规则下合作。但实际上，任务之间的关系应该是灵活的，这样才能让不同的任务互相帮助，而不是互相拖累。

2.3 创新点

  提出了一种新颖的多任务学习方法，通过多门控混合专家模型，使任务间关系能够动态调整。这种模型利用门控机制为每个任务分配最合适的专家网络，从而实现任务间关系的灵活建模，增强了模型的适应性和减少负迁移，提升了多任务学习的效果。

3 主要设计思路

  下面这张图片展示了三种多任务学习的框架结构，分别是(a)共享底层模型，(b)单门控混合专家(One-gate MoE)模型，以及©多门控混合专家(Multi-gate MoE)模型：

( a ) 共享底层模型（Shared-Bottom Model）
  在共享底层模型中，所有的任务共享一个底层网络结构来提取特征。这个底层网络接收输入向量，并将其转换为一组共享的特征表示。所有任务的输入数据通过这个共享的底层来处理，然后，每个任务会在这个共享表示的基础上，通过独立的上层网络来完成特定任务的学习和预测。这种模型的优点是可以有效地学习任务间的通用性特征，但缺点是任务间的差异性可能无法得到充分的建模。

( b ) 单门控混合专家(One-gate MoE)模型
  单门控混合专家模型是共享底层模型的一个扩展，它引入了混合专家(Mixture of Experts)的概念。在这种模型中，底层网络之上是一个或多个混合专家层。每个混合专家层由多个专家网络组成，这些专家网络可以专注于处理不同类型的特征或任务。单门控机制决定哪一个专家网络将被用于处理当前任务的输出。尽管这增加了模型的灵活性，允许每个任务根据自身需要选择最合适的专家网络，但单门控限制了任务之间可能存在的复杂依赖关系。

( c ) 多门控混合专家(Multi-gate MoE)模型
  多门控混合专家模型是本文的重点，它进一步扩展了单门控模型。在这种模型中，每个任务不仅有一个门控机制来选择专家网络，而且可以有多个门控层。这些门控层可以根据任务的需要动态地选择多个专家网络的输出。这样，每个任务可以同时利用多个专家的知识，从而更灵活地处理任务间的多样性和复杂性。多门控的设计允许模型更细致地调节任务之间的关系，有助于减少负迁移，并提升模型在多任务学习中的整体性能。

4 实验设计

  这篇论文通过在三个不同的数据集上进行实验，展示了多门控混合专家(MMoE)模型相较于传统多任务学习方法的优越性。实验结果表明，MMoE在多个任务上都取得了更好的性能，尤其是在需要处理任务间复杂关系的场景中。

  AUC（Area Under the ROC Curve）是一个衡量分类模型性能的指标，它通过计算模型在所有可能的分类阈值上真正例率（True Positive Rate, TPR）和假正例率（False Positive Rate, FPR）的曲线下面积来评估模型。AUC值越高，表示模型的分类性能越好，特别是在区分正负样本方面的能力越强。

  在多任务学习的评估中，AUC提供了一个统一的度量标准来衡量模型在多个任务上的整体性能。由于多任务学习通常涉及多个分类或回归任务，AUC能够综合反映模型在各个任务上的区分能力，而不受特定阈值的影响。这使得AUC成为一个理想的指标，尤其是在需要评估模型在多个任务上平衡性能的场景中。此外，AUC对于不平衡数据集也具有较好的鲁棒性，这在实际应用中是非常有价值的。

5 个人总结

  这篇论文提出了多门控混合专家（MMoE）模型，用于改善多任务学习中任务间关系建模的灵活性。MMoE通过多个门控层动态选择专家网络，有效减少了负迁移，提升了多任务学习的性能。实验结果在多个数据集上验证了模型的有效性。

  对于深度学习模型而言，计算复杂性较高是一个通用的问题，可能需要大量的计算资源。其次，门控机制的设计可能需要进一步优化，以提高模型的泛化能力，比如之后的PLE模型，提出来共享expert和专有expert的概念，减少各task之间相关性较低时的互相干扰。此外，可能需要更深入地探讨不同任务类型和任务数量对模型性能的影响，比如跷跷板现象，一个task性能的提升是通过损害另一个task的性能来实现的。