深度编码器的研究与展望 随读笔记

写在前面

因为先是看了高翔博士的《利用堆叠自动编码器进行回环检测》一文，虽然对自动编码器的原理有个初步理解，但还是需要进一步了解关于自动编码器。

1.引言

深度自动编码器主要用于：（1）转换学习任务 ；（2）无监督学习；（3）非线性特征提取过程中也扮演着至关重要的角色。
DAE的产生和应用免去了人工提取数据特征的巨大工作量，提高了特征提取的效率，降低了原始输入的维数，得到数据的逆向映射特征，展现了从少数类标样本和大量无类标数据中学习输人数武据本质特征的强大能力，并将学习到的特征分层表示，为构建深度结构奠定了基础，成为神经网络研究的一个里程碑。
自动编码器分为：原型自动编码器 、稀疏自动编码器、降噪自动编码器、收缩自动编码器、卷积自动编码器。
利用无监督学习方法逐层贪婪贪心训练算法完成对隐藏层的预训练，然后用BP算法对整个神经网络进行系统性参数优化调整，显著降低 了神经网络的性能指数，有效改善了BP算法易陷入局部最小的不良状况。

2.DAE的基本概念及原理

利用经过无监督逐层贪心预训练和系统性参数优化的多层非线性网络从无类标数据中提取高维复杂输入数据的分层特征，并得到原始数据 的分布式特征表示的深度学习神经网络结构。
从输入到隐藏层的表达式为：

S f S_f S