[论文阅读-Contrastive Learning（1）] 2006 CVPR Dimensionality Reduction by Learning an Invariant Mapping

前言：最近在阅读近几年来CV领域无监督学习的主流方法，想把一些无监督领域的思想引入到我做的底层图像复原中来，克服实测数据难以解决的问题。对比学习（Contrastive Learning，后面统一简称CL）当属目前最火的无监督学习方法之一，因此最近的论文阅读以CL为专题，首先阅读CL的原理，主要是CL一些baseline的方法，后面阅读CL是如何在各个任务中的应用的。

动机

这篇文章应是contrastive learning的起源，该文章的目的是做特征降维，类似于LLE、tSNE等方法，解决他们存在的问题。说白了也就是图像表达的学习（representation learning），将高维的数据输入降维成信息量丰富的低维表达。这篇文章主要解决了当时特征降维的两个问题：

1. 这些方法假设输入数据空间中的点是存在相关性的（如LLE中认为每个点可以被领域内的点线性加权表示）。

2. LLE、tSNE等降维方法都需要已知所有特征后，再去进行降维，如果此时进来一个新的特征，则需要全部重新计算。

方法

作者要学习一个特征提取器Gw，或者说一个映射mapping，这个mapping需要满足以下几个特征：

1. 映射后的空间上&#x