生成模型--收缩自编码器(contractive autoencoder，CAE)

收缩自编码器(contractive autoencoder，CAE)

  收缩是源于CAE弯曲空间的方式，性质是只在局部收缩，目标是学习数据的流形结构

具体实现

  收缩自编码模型的训练目标函数是重构误差和收缩罚项(contraction penalty)（即正则项）的总和，通过最小化该目标函数使已学习到的表示C(x)尽量对输入x保持不变。
  它的惩罚项Ω(h) 是平方Frobenius范数（元素平方的和），作用于与编码器的函数相关偏导数的Jacobian矩阵。
  简单来说，它的惩罚项是编码器输出的特征向量的元素平方的和。这个处罚项迫使模型学习一个在 x 变化小时目标也没有太大变化的函数。因为这个惩罚只对训练数据适用，它迫使自编码器学习可以反映训练数据分布信息的特征。

公式：

  第一个是稀疏自编码器的损失函数；第二个是收缩自编码器的损失函数。

收缩自编码器与去噪自编码器、流形学习和概率模型存在一定理论联系

  收缩自编码模型趋于找到尽量少的几个特征值，特征值的数量对应局部秩和局部维数。
  收缩自编码模型可以利用隐单元建立复杂非线性流形模型。

去噪自编码器和收缩自编码器之间存在一定联系

  在小高斯噪声的限制下，当重构函数将 x 映射到输出时，去噪重构误差与收缩惩罚项是等价的。换句话说， 去噪自编码器能抵抗小且有限的输入扰动，而收缩自编码器使特征提取函数能抵抗极小的输入扰动。
  去噪AE是针对输入，收缩AE是针对输出