【模型详解】AutoEncoder详解（六）——Contractive AutoEncoder

paper:

摘要

本文提出了一种新的AE模型，能够更有效地获得鲁棒特征

介绍

如何提取鲁棒特征

Jacobian矩阵是多维 $f(x)$ 的一阶偏导，表示形式如下：
$$||J_f(x)|{|}_F^2=\sum _{ij}(\frac{\partial h_j(x)}{\partial x_i}{)}^2\text{\hspace{1em}(1)}$$
罚项$||J_f(x)|{|}_F^2$ 可以将特征空间收缩到训练数据更小的范围，这使得模型获得更好的不变性和鲁棒性。

AutoEncoder变种

AutoEncoder包括两个部分：encoder和decoder，起初AE模型的设计是为了实现数据降维，当encoder生成的code维度小于input维度时，就实现了降维的目标，此时的AE称为欠完备自编码器，反之，当code大于input维度时，称为过完备自编码器，在之前的博客中已经介绍，不做赘述。

基础的AutoEncoder结构

encoder过程将input映射到隐藏表征层，可以表示为：
$$h=f(x)=s_f(Wx+b_h)\text{\hspace{1em}(2)}$$ 其中，$s_f$ 是非线性激活函数，常规的像sigmoid函数，权重矩阵$W$ 的维度为$d_h\ast d_x$，偏置向量$b_h\in R^{d_n}$。
decoder过程使用隐层输出重建生成$y$，表示如下：
$$y=g(h)=s_g(W^{\prime }h+b_y)\text{\hspace{1em}(3)}$$ 其中，$s_g$ 是decoder的激活函数，可以是sigmoid函数。