深度学习，如何用去噪自编码器预测原始数据？

去噪自编码器（denoising autoencoder, DAE）是一类接受损坏数据作为输入，并训练来预测原始未被损坏数据作为输出的自编码器。

去噪自编码器代价函数的计算图。去噪自编码器被训练为从损坏的版本~x 重构干净数据点x。这可以通过最小化损失L = -log pdecoder(x|h = f(~x)) 实现，其中~x 是样本x 经过损坏过程C(~x| x) 后得到的损坏版本。


得分匹配是最大似然的代替。它提供了概率分布的一致估计，促使模型在各个数据点x 上获得与数据分布相同的得分（score）。


对一类采用高斯噪声和均方误差作为重构误差的特定去噪自编码器（具有sig-moid 隐藏单元和线性重构单元）的去噪训练过程，与训练一类特定的被称为RBM 的无向概率模型是等价的。

将训练样本x 表示为位于低维流形（粗黑线）附近的红叉。我们用灰色圆圈表示等概率的损坏过程C(~x|x)。灰色箭头演示了如何将一个训练样本转换为经过此损