Deep networks for robust visual recognition

花书上看到的关于使得信念网络更鲁棒的论文。
主要是基于两点：
1.使得首层连接更稀疏：即将接受域从所有节点（2828）缩小到77，这个操作很容易理解，CNN不就是这样的嘛，原因解释是这样可以减少加噪图片下隐藏层的改变幅度；
2.**概率去噪：**将h2层分出一部分（多数）节点用于消噪，这些节点形成一个新的RBM，记做Z，然后用Z重新调整h1，调整的过程是不断迭代的，每次调整h1中的部分节点（即unclamped），这里的划分指标是若是一个节点被对应的P值（P值和Z相关，通过从去噪RBM中所有其他h1节点的分布条件中采样来生成）替换后使得整体能量变化（减小）大于一个阈值，那么就更新它。如此更新完h1层。论文中说此时的h1回传会发现输入层的噪声明显消失。之后论文仍然将原始的输入v结合到了最终的h1中，考虑到原始v还是包含了一些有用的其他信息。

原始DBN效果：

稀疏DBN效果：

7*7接受域可视化：

denoising结构：

denoising效果：

算法流程：

结果对比：最后两行是用的加噪的训练集