Deep label refinement for age estimation（知识蒸馏+标签学习在年龄估计中的应用）

Deep label refinement for age estimation

背景

1.不同性别/种族的人类年龄差异不同
2.面部图像中光照、姿势、表情、化妆会影响年龄估计的精度
3.模型的泛化能力，很难获得准确的真实年龄
标签分布学习可以解决不同年龄之间的相关性和不确定性，提高数据的利用率。
附：标签分布学习（Label Distribution Learning, LDL)的任务是让模型取学习一个样本的标签分布（Label Distribution)，即每一个维度都反映对应标签程度的一种概率分布。这样的标签概率分布可以比one-hot更好地表示一个样本的情况，原因主要有以下：
1.一个标签跟样本是否有关，是一个相对的概念，即没有一个“判断是否相关”的绝对标准；
2.当多个标签都跟样本相关时，它们的相关程度一般也是不同的；
3.多个跟样本不相关的标签，它们的不相关程度也一般是不同的。

网络图Label distribution refinery

The initial ancestor

标签分布学习的初始网络$R_{{\theta }_1}$的目标是最小化交叉熵损失函数，将预测的标签分布$p_1$转移到子代网络$R_{{\theta }_2}$中

给定一个输入实例 x x