Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification (多任务网络中的完全自适应特征共享及其在人属性分类中的应用 )
- 这是关于多任务问题的讨论;
- 多任务问题中,不同任务共享特征时,需要共享的特征层可能不一样,有些任务可以共享比较高层的特征(即神经网络中比较靠全连接的层),而有些任务只能共享一些比较浅层的特征;
自适应特征共享,在初始化网络的时候,可以先初始化浅层的并且比较窄层厚的网络。初始化时,先初始化深颜色的宽度的网络(这样可以节省很多能存空间):
之后,算法会自适应调整,加宽不同训练任务的层的厚度,设置不同训练任务共享的层数,如有些训练任务要到很高层就分叉,有些训练任务在低层就进行了分叉。不同训练任务的层在自适应加厚的时候,也会受任务难易程度的影响。比如1000分类的任务理应比2分类的任务,层的厚度要厚。
下图是针对于celebA的多任务自适应特征共享网络的结构(只留下了顶层的结构):