行人属性“Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Cl”

多任务深度学习网络,一般是先设计网络有一些共享层,然后有多个分支学习不同的任务。论文从一个较瘦的网络开始,逐渐加粗。任务间进行选择性共享,挖掘那些任务之间更相关。thin网络使用SOMP初始化。

task-specific子网络或分支:浅层特征共享,深层特征task-specific,类似属性结构。计算量大,且受设计者主观认识影响。

相关研究
多任务学习:一些方法认识到哪些任务之间可以共享。HyperFace进行人脸检测,landmark定位,姿态估计和性别识别等多任务的学习。UberNet,MultiNet,Cross-ResNet。
模型压缩和加速
行人属性识别:监控场景提升行人再人证,电子商务提升衣物检索,人脸属性提升人脸检测和矫正。state-of-the-art[5][24][44][49]。

方法描述
1. 瘦网络初始化及滤波器选择
VGG-16的瘦身版,thin-w模型,w是瘦身因子,瘦身版的模型与原始VGG-16对比为:
这里写图片描述
瘦身版卷积层的参数W0,l从原始预训练的参数Wp,l中选取,最小化目标函数:
这里写图片描述
使用贪心SOMP寻找近似解w(l),算法描述为:
这里写图片描述
2. 逐层加宽
结合点:网络分割成两个或多个子网络或分支,对于行人属性,每个子网络的预测是sigmoid单元,生成归一化的属性置信度得分。
论文仅在结合点加宽网络,扩展后新增加的矩阵参数与扩展器参数矩阵大小相同,网络在扩展点有多个输出:yl1j=σl1(P(Wl1j)xl1)forj[c]
扩展的示意图为:
这里写图片描述
3. 任务聚合
相似度小的任务分割的早,共享的特征少。对于某个任务分支来说容易识别的样本,对另外一个任务来说可能是困难的样本。task之间的密切关系为:
这里写图片描述
密切关系反应任务集合,两个分支的密切关系为:
这里写图片描述
密切关系得分为Ab(k,l)=(Ab(k,l)+Ab(l,k))/2Ab(k,l)通过观察任务间最大距离衡量两个分支间密切关系。
4. 宽度选择
损失函数为:Ll(gd)=(d1)L02pl+αLs(gd)
其中(d1)L02pl是新增分支的惩罚项,αLs(gd)是分割的惩罚项。α是分支因子,大的分支因子鼓励分割。分割想是分支密切关系矩阵的函数,即:
这里写图片描述
上式定义了相同集合中任务间的最大距离,惩罚相同分支中不相似的任务。

实验结果
CelebA人脸属性分类和DeepFashion衣物属性分类
这里写图片描述

Branch-32-2.0 模型的实际task归类:
这里写图片描述

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值