属性预测相关论文阅读Adaptively weighted multi-task deep network for person attribute classification

转载自属性预测相关论文

1 Motivation

当前属性识别的方法存在如下的问题：
1） negative transfer：一个最常用的多任务学习方式是共享前层所有的参数，仅仅在最后一层和结构不同。但是会导致由于存在不相似的两个任务是的学习器性能下降。
2） 当前的方式一般是固定不同属性的权重，比如将比例都设置为1，但是我们知道不同属性在不同任务中的比重是不一样的。

2 Contribution

第一次提出了一种新的联合多任务学习行人属性的方法。能够动态地衡量不同属性之间的关系。

3 Content

主体网络采用ResNet50，
最初训练不同属性之损失函数为：

增加条件约束之后，公式变为：

整体训练过程为:
提出了一种validation loss trend algorithm算法：

主体思想是根据网路在验证集上的泛化程度来决定该属性的重要性。
具体流程为：
1）在每一个batch，我们分别从训练集和测试集中取得样本（比如一次从训练集和测试集中分别取得10个样本）
2）算法如下：
具体地，首先通过训练数据集更新网络参数，当迭代次数为k的倍数时，我们更新属性权重的参数。更新方式为：
分别计算前两个和前一个时间段的验证集上loss的均值，通过这两个公式相减能够初步得到不同属性之间loss的变化速率，我们假设变化速率大的属性更加重要。而后loss乘上变化速率，进行规则化之后得到新的参数。