自动学习多任务深度学习网络

个人分类： 行人属性

多任务深度学习网络，一般是先设计网络有一些共享层，然后有多个分支学习不同的任务。论文从一个较瘦的网络开始，逐渐加粗。任务间进行选择性共享，挖掘那些任务之间更相关。thin网络使用SOMP初始化。

task-specific子网络或分支：浅层特征共享，深层特征task-specific，类似属性结构。计算量大，且受设计者主观认识影响。

相关研究
多任务学习：一些方法认识到哪些任务之间可以共享。HyperFace进行人脸检测，landmark定位，姿态估计和性别识别等多任务的学习。UberNet，MultiNet，Cross-ResNet。
模型压缩和加速
行人属性识别：监控场景提升行人再人证，电子商务提升衣物检索，人脸属性提升人脸检测和矫正。state-of-the-art[5][24][44][49]。

方法描述
1. 瘦网络初始化及滤波器选择
VGG-16的瘦身版，thin-w模型，w是瘦身因子，瘦身版的模型与原始VGG-16对比为：

瘦身版卷积层的参数W0,lW0,l 从原始预训练的参数Wp,lWp,l 中选取，最小化目标函数：

使用贪心SOMP寻找近似解w∗(l)w∗(l) ，算法描述为：

2. 逐层加宽
结合点：网络分割成两个或多个子网络或分支，对于行人属性，每个子网络的预测是sigmoid单元，生成归一化的属性置信度得分。
论文仅在结合点加宽网络，扩展后新增加的矩阵参数与扩展器参数矩阵大小相同，网络在扩展点有多个输出：yl−1j=σl−1(P(Wl−1j)xl−1)forj∈[c]yjl−1=σl−1(P(Wjl−1)xl−1)forj∈[c]
扩展的示意图为：

3. 任务聚合
相似度小的任务分割的早，共享的特征少。对于某个任务分支来说容易识别的样本，对另外一个任务来说可能是困难的样本。task之间的密切关系为：

密切关系反应任务集合，两个分支的密切关系为：

密切关系得分为Ab(k,l)=(Ab(k,l)+Ab(l,k))/2Ab(k,l)=(Ab(k,l)+Ab(l,k))/2 ，Ab(k,l)Ab(k,l) 通过观察任务间最大距离衡量两个分支间密切关系。
4. 宽度选择
损失函数为：Ll(gd)=(d−1)L02pl+αLs(gd)Ll(gd)=(d−1)L02pl+αLs(gd) 。
其中(d−1)L02pl(d−1)L02pl 是新增分支的惩罚项，αLs(gd)αLs(gd) 是分割的惩罚项。αα 是分支因子，大的分支因子鼓励分割。分割想是分支密切关系矩阵的函数，即：

上式定义了相同集合中任务间的最大距离，惩罚相同分支中不相似的任务。

实验结果
CelebA人脸属性分类和DeepFashion衣物属性分类

Branch-32-2.0 模型的实际task归类：