本文探讨了自编码器的表示能力，指出深度编码器和解码器能提供更多的优势。深度自编码器在足够多的隐藏单元下能近似任何输入到编码的映射。此外，介绍了随机编码器和解码器的概念，它们通过注入噪声以模拟分布采样，可以被训练成去噪自编码器。
第十四章 自编码器
2020-3-8 深度学习笔记14 - 自编码器 1（欠完备自编码器）
2020-3-8 深度学习笔记14 - 自编码器 2（正则自编码器 - 稀疏自编码器（增加惩罚项） / 去噪自编码器（改变重构误差项）/ 惩罚导数作为正则）
表示能力、层的大小和深度
自编码器通常只有单层的编码器和解码器，但这不是必然的。实际上深度编码器和解码器能提供更多优势。
自编码器属于前馈网络，编码器和解码器各自都是一个前馈网络，因此可以从深度结构中获得好处。
万能近似定理保证至少有一层隐藏层且隐藏单元足够多的前馈神经网络能以任意精度近似任意函数（在很大范围里），这是非平凡深度（至少有一层隐藏层）的一个主要优点。
但是，从输入到编码的映射是浅层的。 这意味这我们不能任意添加约束，比如约束编码稀疏。 深度自编码器（编码器至少包含一层额外隐藏层）在给定足够多的隐藏单元的情况下，能以任意精度近似任何从输入到编码的映射。
训练深度自编码器的普遍策略是训练一堆浅层的自编码器来贪心地预训练相应的深度架构。 所以即使最终目标是训练深度自编码器，我们也经常会遇到浅层自编码器。
随机编码器和解码器
自编码器本质上是一个前馈网络，可以使用与传统前馈网络相同的损失函数和输出单元。
在自编码器的基础上，随机编码器的形成过程为：在编码器和解码器注入一些噪声，使得它们的输出是来自分布的采样。
随机编码器结构如上图。其中编码器和解码器包括一些噪声注入，而不是简单的函数。这意味着可以将它们的输出视为来自分布的采样（对于编码器是pencoder(h｜x)，对于解码器是pdecoder(x｜h)）
任何潜变量模型 p model ( h , x ) p_{\text{model}}(h, x) p
最低0.47元/天 解锁文章
扫一扫
8104
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
