简介
越来越多的研究开始聚焦于多任务学习,End-to-End Multi-Task Learning with Attention一文中考虑了交通场景中的多任务学习,并且提出了不同具体任务的注意力模块机制。文中所提出的结构可以通过端到端的方式完成训练,易于实现且参数高效,是目前最先进的多任务学习方法,最重要的是文中给出了开源的代码,这一点对于很多初学者是非常重要的。https://github.com/lorenmt/mtan,通过多任务学习的方式具体完成了深度图像和语义分割图像的生成(已经在cityscapes上面进行了验证,同时展示了网络在更具挑战的室内场景效果)。
文中还分析了目前多任务学习存在的两个困难:
1)网络结构如何共享
多任务学习体系结构应该同时表达任务共享和任务特定的特性。通过这种方式,网络被鼓励学习一个通用的表示(以避免过度拟合),同时也提供了学习为每个任务量身定制的特性的能力(以避免欠拟合)。
2)损失函数(如何平衡任务)
一个多任务损失函数,它对每个任务的相对贡献进行加权,应该使所有任务的学习具有同等的重要性,而不是让更容易的任务占主导地位。手动调整损耗权值是繁琐的,最好是自动学习权值,或者设计一个对不同权值具有鲁棒性的网络
然而,大多数先前的MTL方法只关注这两个挑战中的一个,同时维护另一个的标准实现。在这篇论文中,我们介绍了一种统一的方法,通过设计一个新的网络(i)使任务共享和特定任务的特征能够自动学习,从而(ii)学习对损失加