稀疏自编码器_深度学习算法(第30期)降噪自编码器和稀疏自编码器及其实现

上期我们一起学习了深度学习中的可视化自编码器和无监督预训练的相关知识，

深度学习算法(第29期)----可视化自编码器和无监督预训练今天我们一起学一下降噪自编码器和稀疏自编码器方面的知识。

降噪自编码器

一般情况下，为了强制自编码器去学习一些有用的特征，往往会对输入数据进行增加一些噪声，然后训练它去恢复原始没有噪声的数据。这就防止了自编码器耍小聪明，去复制输入到输出。因此最终会寻找到输入数据的特征模式。

自20世纪80年代以来，使用自编码器消除噪声的想法已经出现(例如，在 Yann LeCun的1987年硕士论文中提到过)。在2008年的一篇论文中，Pascal Vincent 表明自编码器也可用于特征提取。在2010年的一篇文章中Vincent等人引入栈式降噪自编码器。

噪声可以是纯粹的高斯噪声添加到输入，或者它可以随机关闭输入，就像之前学的dropout，深度学习算法(第7期)----深度学习之避免过拟合(正则化)

如下图： 其中左侧的是对原始数据增加高斯噪声，右边的是利用Dropout方法实现的降噪自编码器。

降噪自编码器的Tens