自编码器AE

一、基本概念

1985年Rumelhart和Hinton通过使用输入数据作为引导解决“没有引导的反向传播”问题而提出的模型是自编码器的最初形式，结构如图所示，其中模型包含两部分：编码器（Encoder）和解码器（Decoder），给定输入$X$，首先编码器将高维输入$X$编码到低维空间$Z$中，随后解码器将低维空间$Z$进行解码还原输入$X$，自编码器通过求解两个映射$f$和$g$使得重建误差达到最小，如下式所示：

$$\begin{gathered} f:X\to Z \\ g:Z\to X^{\prime } \end{gathered}$$

$$f,g={\mathrm{argmin}}_{f,g}(X,f(g(X)){)}_L$$

当输出$X^{\prime }$无限接近于输入$X$，即$X^{\prime }\approx X$时，就得到了自编码器模型

二、作用

自编码器实质上是一种神经网络，属于无监督学习算法。自编码器在编码和解码阶段具有高度对称的网络结构，输入为无标签数据集，主要通过梯度下降和反向传播算法学习输入到输出之间的映射，并根据输出与输入之间的误差不断调整模型参数，最终使重构误差最小

自编码器能够自动提取目标特征，有效地解决了传统手动方法提取特征不足的问题，同时还能有效地避免过拟合情况。在应用方面，自编码器被应用到了很多领域，例如图像分类、目标识别以及自然语言处理等。自编码器依然存在一些缺点，例如逐层训练使得模型训练时间较长，自编码器属于无监督学习，不能用物理意义来很好的描述所其学习到的特征，但是随着技术的发展和研究的深入，相信上述问题能够被很好地解决