一些领域

dropout

• dropout方法综述
  一文看尽dropout前世今生

• 其中，dropConnect和Monte-Carlo Dropout和高斯分布有关系

• dropConnect
  DropConnect的inference部分和Dropout不同，在Dropout网络中进行inference时，是将所有的权重W都scale一个系数p(作者证明这种近似在某些场合是有问题的，具体见其paper)。而在对DropConnect进行推理时，采用的是对每个输入（每个隐含层节点连接有多个输入）的权重进行高斯分布的采样。

• Monte-Carlo Dropout
  MC dropout 的 MC 体现在我们需要对同一个输入进行多次前向传播过程，这样在 dropout 的加持下可以得到“不同网络结构”的输出，将这些输出进行平均和统计方差，即可得到模型的预测结果及 uncertainty。而且，这个过程是可以并行的，所以在时间上可以等于进行一次前向传播。

• concrete dropout（从论文《Siamese Capsule Networks》中发现的）
  https://github.com/yaringal/ConcreteDropout