基于注意力机制的端到端的多任务学习

简介

越来越多的研究开始聚焦于多任务学习，End-to-End Multi-Task Learning with Attention一文中考虑了交通场景中的多任务学习，并且提出了不同具体任务的注意力模块机制。文中所提出的结构可以通过端到端的方式完成训练，易于实现且参数高效，是目前最先进的多任务学习方法，最重要的是文中给出了开源的代码，这一点对于很多初学者是非常重要的。https://github.com/lorenmt/mtan，通过多任务学习的方式具体完成了深度图像和语义分割图像的生成（已经在cityscapes上面进行了验证，同时展示了网络在更具挑战的室内场景效果）。

文中还分析了目前多任务学习存在的两个困难：
1）网络结构如何共享
多任务学习体系结构应该同时表达任务共享和任务特定的特性。通过这种方式，网络被鼓励学习一个通用的表示(以避免过度拟合)，同时也提供了学习为每个任务量身定制的特性的能力(以避免欠拟合)。
2）损失函数(如何平衡任务)
一个多任务损失函数，它对每个任务的相对贡献进行加权，应该使所有任务的学习具有同等的重要性，而不是让更容易的任务占主导地位。手动调整损耗权值是繁琐的，最好是自动学习权值，或者设计一个对不同权值具有鲁棒性的网络
然而，大多数先前的MTL方法只关注这两个挑战中的一个，同时维护另一个的标准实现。在这篇论文中，我们介绍了一种统一的方法，通过设计一个新的网络(i)使任务共享和特定任务的特征能够自动学习，从而(ii)学习对损失加