行人属性“Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Cl”

多任务深度学习网络，一般是先设计网络有一些共享层，然后有多个分支学习不同的任务。论文从一个较瘦的网络开始，逐渐加粗。任务间进行选择性共享，挖掘那些任务之间更相关。thin网络使用SOMP初始化。

task-specific子网络或分支：浅层特征共享，深层特征task-specific，类似属性结构。计算量大，且受设计者主观认识影响。

相关研究
多任务学习：一些方法认识到哪些任务之间可以共享。HyperFace进行人脸检测，landmark定位，姿态估计和性别识别等多任务的学习。UberNet，MultiNet，Cross-ResNet。
模型压缩和加速
行人属性识别：监控场景提升行人再人证，电子商务提升衣物检索，人脸属性提升人脸检测和矫正。state-of-the-art[5][24][44][49]。

方法描述
1. 瘦网络初始化及滤波器选择
VGG-16的瘦身版，thin-w模型，w是瘦身因子，瘦身版的模型与原始VGG-16对比为：

瘦身版卷积层的参数$W^{0,l}$从原始预训练的参数$W^{p,l}$中选取，最小化目标函数：

使用贪心SOMP寻找近似解$w^*(l)$，算法描述为：

2. 逐层加宽
结合点：网络分割成两个或多个子网络或分支，对于行人属性，每个子网络的预测是sigmoid单元，生成归一化的属性置信度得分。
论文仅在结合点加宽网络，扩展后新增加的矩阵参数与扩展器参数矩阵大小相同，网络在扩展点有多个输出：$y_j^{l-1}=\sigma_{l-1}(P(W_j^{l-1})x^{l-1}) for j\in [c]$
扩展的示意图为：

3. 任务聚合
相似度小的任务分割的早，共享的特征少。对于某个任务分支来说容易识别的样本，对另外一个任务来说可能是困难的样本。task之间的密切关系为：

密切关系反应任务集合，两个分支的密切关系为：

密切关系得分为$A_b(k,l)=(A_b(k,l)+A_b(l,k))/2$，$A_b(k,l)$通过观察任务间最大距离衡量两个分支间密切关系。
4. 宽度选择
损失函数为：$L^l(g_d)=(d-1)L_02^{p_l}+\alpha L_s(g_d)$。
其中$(d-1)L_02^{p_l}$是新增分支的惩罚项，$\alpha L_s(g_d)$是分割的惩罚项。$\alpha$是分支因子，大的分支因子鼓励分割。分割想是分支密切关系矩阵的函数，即：

上式定义了相同集合中任务间的最大距离，惩罚相同分支中不相似的任务。

实验结果
CelebA人脸属性分类和DeepFashion衣物属性分类

Branch-32-2.0 模型的实际task归类：