自动编码器重建图像及Python实现

自动编码器简介

自动编码器(一下简称AE)属于生成模型的一种，目前主流的生成模型有AE及其变种和生成对抗网络（GANs）及其变种。随着深度学习的出现，AE可以通过网络层堆叠形成深度自动编码器来实现数据降维。通过编码过程减少隐藏层中的单元数量，可以以分层的方式实现降维，在更深的隐藏层中获得更高级的特征，从而在解码过程中更好的重建数据。

自动编码器原理

自动编码器是通过无监督学习训练的神经网络，实际上是一个将数据的高维特征进行压缩降维编码，再经过相反的解码过程还原原始数据的一种学习方法。学习过程中通过解码得到的最终结果与原数据进行比较，通过修正权重偏置参数降低损失函数，不断提高对原数据的复原能力。自动编码器学习的前半段的编码过程得到的结果即可代表原数据的低维“特征值”。通过学习得到的自编码器模型可以实现将高维数据压缩至所期望的维度，原理与PCA相似。自编码器的学习过程如图1所示：
图1
自动编码器架构主要由两部分组成：
编码过程：
自动编码器将输入数据 x 进行编码，得到新的特征 x’ ，这称为编码过程，可表述为：
其编码过程就是在 （Wx+b） 的线性组合外加上非线性的激活函数 f(x) 。
解码过程：
利用特征 x’ 重构出与原始输入数据最接近的重构数据 x^ ，这称为解码过程，可表述为：

原始输入 x 和重构原始输入 x^ 之间构成重构误差，自动编码器学习最小化该重建误差，即：

一般会给自编码器增加 WT = W 的限制

AE算法伪代码

AE算法伪代码如下图2所示：

深度自编码(DAE)