多任务——任务相关性

• 《Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification》2016

**要解决的问题：**通过适当地共享相关信息来提高多项预测任务的泛化性能。
**创新点：**作者提出了一种设计紧凑型多任务深度学习架构的自动方法。开始采用一个薄的多层网络，并在训练过程中以贪心的方式动态地扩展它。通过反复执行，它创建了一个树状的深层架构，类似的任务驻留在相同的分支中，直到顶层。关于涉及面部和服装属性的人物属性分类任务的评估表明，所提出的方法产生的模型是快速，紧凑的。
任务分组的可视化验证：

论文从一个较瘦的网络开始，逐渐加粗。任务间进行选择性共享，挖掘那些任务之间更相关。相似度小的任务分割的早，共享的特征少。惩罚相同分支中不相似的任务。
论文的目的应该是通过探索不同任务之间的相关性，来进行分支，也就是没有相关性的任务进行多任务训练效果可能会变得不好，上图是作者给出的celebA的任务分组情况。

---

注：博众家之所长，集群英之荟萃。