度量学习（metric learning）--学习笔记

1. 度量：在数学中，一个度量（或距离函数）是一个定义集合中元素之间距离的函数。一个具有度量的集合被称为度量空间。
2. 度量学习（使用神经网络训练的）：
   1. 也叫作相似度学习
   2. 用神经网络来训练度量，好处：
      1. 长度不同的片段也可以进行比较。
      2. 可以拓宽维度，从其他维度上寻找关联。
3. 常用到的度量学习方法：从广义上将度量学习分为：通过线性变换的度量学习和度量学习的非线性模型。
   1. 线性变换的度量学习：线性的度量学习问题也称为马氏度量学习问题，可以分为监督的和非监督的学习算法。
      1. 监督的全局度量学习：

         Information-theoretic metric learning(ITML)
         Mahalanobis Metric Learning for Clustering(MMC)
         Maximally Collapsing Metric Learning (MCML)

      2. 监督的局部度量学习：

         Neighbourhood Components Analysis (NCA)
         Large-Margin Nearest Neighbors (LMNN)
         Relevant Component Analysis(RCA)
         Local Linear Discriminative Analysis(Local LDA)

      3. 非监督的度量学习：

         主成分分析(Pricipal Components Analysis, PCA)
         多维尺度变换(Multi-dimensional Scaling, MDS)
         非负矩阵分解(Non-negative Matrix Factorization,NMF)
         独立成分分析(Independent components analysis, ICA)
         邻域保持嵌入(Neighborhood Preserving Embedding,NPE)
         局部保留投影(Locality Preserving Projections. LPP)

   2. 度量学习的非线性模型
      1. 非线性降维算法可以看作属于非线性度量学习：

         等距映射(Isometric Mapping,ISOMAP)
         局部线性嵌入(Locally Linear Embedding, LLE) 
         拉普拉斯特征映射(Laplacian Eigenmap，LE ) 

      2. 通过核方法来对线性映射进行扩展：

         Non-Mahalanobis Local Distance Functions
         Mahalanobis Local Distance Functions
         Metric Learning with Neural Networks

   3. 度量学习定位的话应该是最基础的部分。现在在用的无论是深度学习、强化学习还是神经网络或是监督学习，为了避免结果发散或者收敛结果好些，在使用前一般需要一个特征转换或者聚类的处理，在进行特征转换或者聚类时最基本的和最容易忽略的部分就是关于度量的学习，使用人为定义的方法必然有其局限性，那么通过神经网络或者其他方法是否效果会更好呢，将这个可以进一步研究。
   4. 度量学习需要得到目标的某些核心特征（特点），比如区分两个人，2只眼睛1个鼻子－这是共性，柳叶弯眉樱桃口－这是特点。