度量学习

本次我们介绍一篇来自新加坡南洋理工大学（NTU）的一篇发表在计算机视觉顶会CVPR 2015的文章：Deep Transfer Metric Learning。从题目上就能看出，文章是关于三个方面的：deep learning, transfer learning, 以及metric learning。前两个我们都已经非常熟悉，第三个metric learning是什么？我们将首先介绍metric learning的背景知识，然后进入主题，解读文章。

背景： Metric Learning

在机器学习中，关于度量的学习，一直以来是一个重要的研究方向。如何度量两个样本之间的距离，看似是一个简单的问题，实则关乎到几乎所有的分类、回归、聚类等基本任务的表现。好的度量有助于我们发现更好的特征，构建更好的模型。什么是度量？英文名叫做Metric，就是距离的意思。我们常用的欧氏距离、马氏距离、余弦相似度等，都可以叫做度量。这些度量是显式的，是不需要学习直接就可以计算出来的。但是，在特定的任务中，单纯地运用这些简单的距离公式，往往达不到我们预期的效果。此时，一种对于度量的研究就可以帮助我们对这些距离进行学习。此时，这个距离则是隐式的。这就是所谓的度量学习 (Metric Learning)。

度量学习的基本思路是，给定一些训练样本，这些样本中包含了我们预先观测到的一些对于样本的知识（先验），例如，哪两个样本的距离应该要近一些，哪两个要远一些。然后，我们的学习算法就可以以这些先验知识为约束条件，构建目标函数，学习到这些样本之间的一个很好的度量，并满足我们预先给定的限制条件。从这个意义上看，度量学习就是一种特定条件下的优化问题。

度量学习的发展也和机器学习的发展情况大概一致，从最初的基于传统方法，逐渐过渡到如今的基于深度神经网络。度量学习在计算机视觉、视频分析、文本挖掘、生物信息学等多个领域均有着广泛的应用。可以说，在机器学习中，没有度量，就没有好的模型。凡是需要用到机器学习的地方，都需要度量。