深度迁移度量网络 Deep Transfer Metric Learning

论文地址：Deep Transfer Metric Learning

摘要（abstract）

  传统的度量学习方法同城假定训练和测试集是在相同的情景获取得到，因此假设他们的分布是一样的。但是在实际视觉识别应用中，这种假设往往不符合的。特别是当这些样本来源于不同的数据集。这篇论文提出深度迁移度量学习（DTML）方法，通过将识别知识从源域迁移到目标域。网络约束条件是：最大化类内距，以及最小化类间距；源域与目标域之间的分布散度。实验针对的是人脸识别与行人在识别。

介绍（Introduction）

   如何设计一个相似函数对于计算机视觉以及模式识别任务来说是比较重要的。现存的度量学习方法主要分为两种：监督的，和非监督的。监督策略：一个低维的子空间或流形（manifold）来保存样本的几何信息。非监督策略：最大化来自不同类的样本的可分离性。因为使用了训练样本的标签信息，因此监督度量学习方法对于识别任务来说更适用。

  近几年来，出现了很多监督度量学习算法。存在两个缺点：（1）大多数方法都是寻求用一个线性距离将样本转换为一个线性特征空间，以至于样本的非线性关系不能被利用，尽管核方法能够被用来解决非线性问题，这些方法仍然存在可扩展性问题，因为不能获得明确的非线性映射函数。（2）大多数方法都假设训练和测试样本是在相同环境下捕捉的以及假设分布是一样的，这种假设，在实际场景下这种假设并不成立，特别是当样本来源于不同条件下的数据集。

  论文提出DTML针对跨数据集视觉识别。图1说明了方法的基本思想。


  通过从打标签的源域迁移判别信息到未打标签的目标域，从而学习一组非层次线性转换。 限制条件是最大化类内距，以及最小化类间距；源域与目标域之间的分布散度在顶层网络中。为进一步利用源域的监督信息，进一步提出深度监督迁移度量学习方法（隐层和顶层的输出都被优化）。

相关工作（Related Work）

  深度学习： 通常情况下，深度学习旨在从原生数据中学习层次特征表示。最近的研究表明，深度学习在很多视觉任务中都取得成功。但是，大多数都旨在通过深层模型来学习特征表示而不是相似度估算。深度学习也被用于度量学习。并且有一些方法被提出，例如：文章（Deep nonlinear metric learning with independent subspace analysis）提出一种使用堆叠独立子空间分析的非线性度量学习方法；文章（Bayesian face revisited: A joint formulation）提出判别深度度量学习方法，采用的是CNN网络，通过加强顶层网络的边界标准。这些方法假定训练和测试数据集来源于相同环境下。

  迁移学习： 迁移学习旨在解决来源于源域的训练数据与目标域数据分布不同的问题。过去的几十年中，大量的迁移学习方法被提出，他们主要分为两类：基于样本的和基于特征的。基于样本的方法：学习不同的权重用于排序源域的训练样本，以便更好的在目标域中进行学习。基于特征的方法：通常学习一个公共特征空间，这个特征空间能够将从源域学习到的信息迁移到目标域。一些迁移学习技术被提出，包括域迁移支持向量机（文章：Domain transfer SVM for video concept detection）,降维迁移学习（文章：Transfer learning via dimensionality reduction），迁移度量学习（文章：Transfer metric learning by learning task relationships；Transfer metric learning with semisupervised extension）。方法中的大多数只考虑了通过线性映射或者核方法最小化源域与目标域分布差异，并不能有效的的迁移知识在源域和目标域的分布相差很大的情况下，并且不能获得明确的迁移函数。在这样的情况下，我们提出深度迁移度量学习方法，通过判断距离网络的学习，在一些信息来源于源域的情况下。

DTML（深度迁移度量学习）

  符号表示

  源域训练数据集： X s = { ( x s i , y s i ) ∣ i = 1 , 2 , ⋯   , N s } \mathcal { X } _ { s } = \left\{ \left( \mathbf { x } _ { s i } , y _ { s i } \right) | i = 1,2 , \cdots , N _ { s } \right\} Xs​={ (xsi​,ysi​)∣i=1,2,⋯,Ns​}，其中$x_{si}属于R^d(d维);N_s表示样本个数，y_{si}属于1,2,3,...,C_s,C_s表示类的个数$

  目标域训练数据集：

  标签训练集合： X = { ( x i , y i ) ∣ i = 1 , 2 , ⋯   , N } \mathcal { X } = \left\{ \left( \mathbf { x } _ { i } , y _ { i } \right) | i = 1,2 , \cdots , N \right\} X={