深度学习：多任务学习-几篇综述简介

1. An Overview of Multi-Task Learning in Deep Neural Networks

这篇文章完整翻译了一下，见https://blog.csdn.net/qq_38290475/article/details/114283471?spm=1001.2014.3001.5501

---

2. MULTI-TASK LEARNING WITH DEEP NEURAL NETWORKS: A SURVEY

多任务学习有诸如提高数据使用效率、通过共享表征减轻过拟合、以及通过利用辅助任务加速学习的好处。但同时学习不同的任务也有一些设计上和优化上的问题，并且选择应该共同学习的任务本身也并不是一件容易的事情。本文给出了利用深度学习进行多任务学习的方法概述，目的是总结一下该领域完善的和最近的一些方向。我们的讨论主要基于将现有的深度多任务学习技术分为下面三类：结构、优化方法和任务关系学习。

在多任务学习中存在一些单任务学习时不存在的难点。具体而言，就是不同的任务可能有矛盾的需求。此时，提高一个任务的性能可能会损害另一个任务的性能，这被称为负面迁移或破坏性干扰(negative transfer or destructive interference)。最小化负面迁移是多任务学习的主要目标。已经有很多结构被设计来缓解负面迁移，主要基准是使得信息在正面迁移的任务之间流通，而在负面迁移的任务之间不鼓励共享。

最早的方法被分为两类：硬参数共享和软参数共享。本文把硬参数共享归为多任务结构，而把软参数共享扩充为多任务优化，另外还有一类任务关系学习。文章剩下的内容如下图所示。