Contractive Auto-Encoders的简单了解

Contractive Auto-Encoders的简单了解

Contractive autoencoder是autoencoder的一个变种，其实就是在autoencoder上加入了一个规则项，它简称CAE。这里涉及到的是无监督学习下的特征学习的问题，主要是参考了文章：Contractive Auto-Encoders: Explicit Invariance During Feature Extraction。这个篇文章对于auto encoder进行了改进，提出了对原有的auto encoder或者改进的正则化的auto-encoder的目标函数：
将等号右边的正则项（用来惩罚系数用的，防止过拟合），换成了F范数下的雅克比矩阵的形式，得到下面的公式：
the Jacobian norm has the following simple expression:

考虑我们为什么引入雅克比矩阵呢？在文章中作者说了通过引入雅克比矩阵的F 范数来促使学到的特征具有局部不变性。Auto-encoder最初是用来做数据降维的，但是在这里做的是一个类似数据升维的效果。我们将原始的输入特征经过编码之后得到高维的特征（采用过完备的一组基来表达），意思是获得了原始的输入空间下的高维的流形。通过采用雅克比矩阵就使得每一个在高维流形上的点(也就是学到的特征)具有局部不变性。这个可以通过计算局部流形的一阶导数获得，于是就出现了雅克比矩阵。
作者在文章中提到，高维的雅克比矩阵包含方向信息，各个方向上的contraction是不同的，这个可以通过对雅克比矩阵做SVD体现出来。 在得到雅克比矩阵之后，我们需要体现出不变性，也就是说我们原始的数据空间经过contract之后仍然在各个方向上具有Isotropic。
从几何角度来理解的话就是，特征的robustness 可以看做是把输入空间映射到特征空间的时候，输入空间的contraction。

参考资料
http://www-labs.iro.umontreal.ca/~vincentp/Publications/contractive_autoencoder_icml2011.pdf