转载自属性预测相关论文
1 Motivation
当前属性识别的方法存在如下的问题:
1) negative transfer:一个最常用的多任务学习方式是共享前层所有的参数,仅仅在最后一层和结构不同。但是会导致由于存在不相似的两个任务是的学习器性能下降。
2) 当前的方式一般是固定不同属性的权重,比如将比例都设置为1,但是我们知道不同属性在不同任务中的比重是不一样的。
2 Contribution
第一次提出了一种新的联合多任务学习行人属性的方法。能够动态地衡量不同属性之间的关系。
3 Content
主体网络采用ResNet50,
最初训练不同属性之损失函数为:
增加条件约束之后,公式变为:
整体训练过程为:
提出了一种validation loss trend algorithm算法:
主体思想是根据网路在验证集上的泛化程度来决定该属性的重要性。
具体流程为:
1)在每一个batch,我们分别从训练集和测试集中取得样本(比如一次从训练集和测试集中分别取得10个样本)
2)算法如下:
具体地,首先通过训练数据集更新网络参数,当迭代次数为k的倍数时,我们更新属性权重的参数。更新方式为:
分别计算前两个和前一个时间段的验证集上loss的均值,通过这两个公式相减能够初步得到不同属性之间loss的变化速率,我们假设变化速率大的属性更加重要。而后loss乘上变化速率,进行规则化之后得到新的参数。