Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation

一般认为，为了计算梯度，网络的平滑性是必须的，但实际情况却并非如此。我们可以通过向硬性函数（如阈值函数）中加入扰动来观察效果，进而评估梯度。但是向如果加入的是独立的扰动，那么就会使得后向传播的花费变得非常之多，于是我们提出了随机扰动的想法。

不平滑、非线性的思想可以和随机扰动结合在一起来获得对梯度的低方差的估计，dropout就是一个这样的例子。

我们很想通过计算图计算出的信号来调整噪音的强度。但问题是，由于噪音是随机的，如果我们考虑到所有可能的情况再计算损失，进而计算梯度，那么计算的花费就会非常的大。为了解决这个问题，我们就提出了四种能够有效计算并高效训练的方法。这样我们就能利用条件计算的方法，在相同的计算消耗下，来训练潜能更大的网络。

研究随机网络的动机有：模拟生物神经元；获得稀疏表征(因为它们有很多零)，这是很多表征学习算法的正则化方法；二元表征还是语义哈希算的哈希表的key值；在变化时间尺度的rnn上，随机网络也很有用。

基于扰动的梯度估计器算法使用随机扰动z来计算损失：

这比传统的分别测量每个参数的变化的的影响的有限差分近似方法要更高效，二者的梯度算法复杂度分别为n方和n。后者使用
或更好的
来计算梯度，这里