本文介绍了降噪自编码器（Denoising Autoencoders）的概念，它是通过在输入数据中引入随机噪声，迫使网络学习数据的内在结构而非简单的复制输入。自编码器在数据压缩和特征学习方面有应用，其与PCA的关系在于，线性情况下的自编码器等同于PCA，但非线性时则能捕获更多数据模式。文章还探讨了稀疏自编码器和随机性在防止自编码器学习恒等函数中的作用，并提供了Theano实现的简单教程链接。
教程地址：http://www.deeplearning.net/tutorial/dA.html#autoencoders
降噪的自编码器由[Vincent08]提出，首先先介绍自编码器。
Autoencoders
See section 4.6 of [Bengio09] for an overview of auto-encoders.
自编码器输入为：![\mathbf{x} \in [0,1]^d](http://www.deeplearning.net/tutorial/_images/math/4376c3a3f1fc147f4ceccdbf56585351047a502e.png)
，通过
映射到隐层，隐层为![\mathbf{y} \in [0,1]^{d'}](http://www.deeplearning.net/tutorial/_images/math/be3a6a50757f86aca7f15bbdea1163da6eacb3fa.png)
，
是非线性激活函数，如sigmoid。这步是encoder。
通过
来重构 x，使 z 尽量与输入 x 一样。这是decoder。
自编码器的输入假设为100维，隐层神经元为50维，输出层（重构）100维，50少于100维，相当于用更少的维数表示更高维的数据，这就可以看成一种数据压缩。
注意：
这里不是W的转置，而是隐层到第3层的权重。
下面介绍下tied weights：当我们设置
时，就叫tied weights，这时3层的自编码器参数就只有
, 
, 
；如果不设置tied weights，和 W 就没关系，这是参数就是, ,, 。
有不有 tied weights 对结果影响并不是很大，这方面大家可以自己研究研究，我就觉得 tied weights 比较省内存点。
重构误差 的度量方法的选取取决于输入服从的具体分布，这里使用 squared error 
如果输入可以表示为 bit vectors or vectors of bit probabilities，可以使用 cross-entropy：
![L_{H} (\mathbf{x}, \mathbf{z}) = - \sum^d_{k=1}[\mathbf{x}_k \log
\mathbf{z}_k + (1 - \mathbf{x}_k)\log(1 - \mathbf{z}_k)]](http://www.deeplearning.net/tutorial/_images/math/499a4658ab7ecc5de5c19c7cc89a53205f3ecdf9.png)
下面这段描述了自编码和PCA的联系：（当激活函数为线性且使用MSE度量误差时，自编码的隐层就表示了PCA中数据主要成分；若为非线性时，表达能力强于PCA）
The hope is that the code 
is a distributed representation that captures the coordinates along the main factors of variation in the data. This is similar to the way the projection on principal components would capture the main factors of variation in the data. Indeed, if there is one linear hidden layer (the code) and the mean squared error criterion is used to train the network, then the 
hidden units learn to
最低0.47元/天 解锁文章
1967
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
