Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classifi

Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification (多任务网络中的完全自适应特征共享及其在人属性分类中的应用 )

原文链接：Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification

 

 

要解决的问题：通过适当地共享相关信息来提高多项预测任务的泛化性能。 
创新点：作者提出了一种设计紧凑型多任务深度学习架构的自动方法。开始采用一个薄的多层网络，并在训练过程中以贪心的方式动态地扩展它。通过反复执行，它创建了一个树状的深层架构，类似的任务驻留在相同的分支中，直到顶层。关于涉及面部和服装属性的人物属性分类任务的评估表明，所提出的方法产生的模型是快速，紧凑的。 

论文从一个较瘦的网络开始，逐渐加粗。任务间进行选择性共享，挖掘那些任务之间更相关。相似度小的任务分割的早，共享的特征少。惩罚相同分支中不相似的任务。 
论文的目的应该是通过探索不同任务之间的相关性，来进行分支，也就是没有相关性的任务进行多任务训练效果可能会变得不好

 

 

这是关于多任务问题的讨论；
多任务问题中，不同任务共享特征时，需要共享的特征层可能不一样，有些任务可以共享比较高层的特征（即神经网络中比较靠全连接的层），而有些任务只能共享一些比较浅层的特征；
自适应特征共享，在初始化网络的时候，可以先初始化浅层的并且比较窄层厚的网络。初始化时，先初始化深颜色的宽度的网络（这样可以节省很多能存空间）：

之后，算法会自适应调整，加宽不同训练任务的层的厚度，设置不同训练任务共享的层数，如有些训练任务要到很高层就分叉，有些训练任务在低层就进行了分叉。不同训练任务的层在自适应加厚的时候，也会受任务难易程度的影响。比如1000分类的任务理应比2分类的任务，层的厚度要厚。

下图是针对于celebA的多任务自适应特征共享网络的结构（只留下了顶层的结构）：