论文笔记（2019.3.11-2019.3.17）

论文题目：Hardness-Aware Deep Metric Learning（来源：cvpr2019）

解决的问题：

1. 先前的深度度量学习方法为了缓解训练样本信息不足的问题，大多采用硬负挖掘策略。但是这种挖掘策略只利用训练数据的一个子集，这可能不足以表征嵌入空间的全局特征。

解决方案：

1. 提出硬度感知深度度量学习(Hardness-Aware Deep Metric Learning)框架。对嵌入（embedding）进行线性插值以自适应地操纵它们的硬水平（hard level），并生成相应的保持标签的合成样例用于模型训练。
2. HDML方法的示意图：
   

所提出的可感知硬度的增强方法首先将样本 ${\mathbf{y}}^{-}$修改${\hat{\mathbf{y}}}^{-}$。然后，一个保持标签和硬度的生成器将它投射到${\tilde{\mathbf{y}}}^{-}$，这是流形上最接近 $\mathbf{y}$的点。合成负例的硬度可以自适应地控制，且不改变原有的标签，因此可以很好地利用合成硬度感知元组进行有效的训练。说明：特征空间中的一条曲线表示一个流形，在该流形附近的样本属于一个特定的类。特征空间和嵌入空间中颜色相同的点代表同一样本，形状相同的点表示属于同一类。

3. 通俗说明方法：我们采用一种自适应线性插值方法来有效地操作嵌入的hard level。在获得了增强嵌入后，利用一个同时训练好的生成器将它们映射回特征空间，同时保持标签和增加的硬度。利用合成具有硬度感知的样本作为对原始样本的补充。
4. HDML框架的总体网络架构如下：
   

图片通过CNN层提取转换为features $\mathbf{y}$，features通过全连接层转换为embeddings $\mathbf{z}$，通过使用文章提出的 hardness-aware augmentation方法，调整${\mathbf{z}}^{-}$的硬度得到${\hat{\mathbf{z}}}^{-}$ 。由于${\hat{\mathbf{z}}}^{-}$ 的标签可能与${\mathbf{z}}^{-}$的不同，因此我们将${\mathbf{z}}^{-}$转换为与${\hat{\mathbf{z}}}^{-}$标签相同的${\tilde{\mathbf{z}}}^{-}$。为了将合成的负例用于模型训练，我们将embeddings空间的$\mathbf{z}$转换回feature空间的$\mathbf{y}$。

实验结果