贝叶斯神经网络BNN

反向传播网络在优化完毕后，其权重是一个固定的值，而贝叶斯神经网络把权重看成是服从均值为 μ ，方差为 δ 的高斯分布，每个权重服从不同的高斯分布，反向传播网络优化的是权重，贝叶斯神经网络优化的是权重的均值和方差，所以贝叶斯神经网络需要优化的参数是反向传播网络的两倍。

在预测时，BNN会从每个高斯分布中进行采样，得到权重值，此时贝叶斯神经网络就相当于一个反向传播网络。也可以进行多次采样，从而得到多次预测结果，将多次预测结果进行平均，从而得到最终的预测结果（就像是ensemble模型）
 

在深度学习中，wi, (i=1,...,n) 和 b 都是一个确定的值，例如 w1=0.1,b=0.2 。即使我们通过梯度下降更新 ，我们仍未改变 “ wi 和 b 都是一个确定的值” 这一事实。

贝叶斯深度学习认为每一个权重（weight）和偏置（bias）都应该是一个分布，而不是一个确定的值。（这很贝叶斯。）如下图所示，给出一个直观的例子：

图 2 展示了一个结构为 4x3x1 的贝叶斯神经网络。（输入层神经元个数为 4，中间隐含层神经元个数为 3，输出层神经元个数为 1。）

参考：https://www.jianshu.com/p/07037f516367