07. 贝叶斯神经网络

算法思路

普通的神经网络的权值是确定的，而贝叶斯神经网络的权值是不确定的，他服从于一个概率分布，这便是贝叶斯神经网络和普通神经网络的差别。

可以简单认为，贝叶斯神经网络是无穷个神经网络的融合，不过给每个神经网络标上一个重要度而已。

普通神经网络训练其权重时，采用的方法无外乎两种：最大似然估计和最大后验估计。即：
$$\begin{array}{rl}{w}^{MLE}& =\arg \underset{w}{\max }\log P(D|w)\\ & =\arg \underset{w}{\max }\sum _i\log P(y_i|x_i,w)\end{array}$$
$$\begin{array}{rl}{w}^{MAP}& =\arg \underset{w}{\max }\log P(w|D)\\ & =\arg \underset{w}{\max }\log P(D|w)+\log P(w)-P(D)\\ & =\arg \underset{w}{\max }\log P(D|w)+\log P(w)\end{array}$$
普通的神经网络就是这样求最值，其每个节点都是一个确定的值，$w^{\star }$。
但是神经网络是在假设$P(w)$为先验估计的条件下，直接求解$P(w|D)$，每个节点都是一个概率分布。

模型推导

我们的最终目标是求出，对于输入$x$，输出$y$的概率分布，即$P(y|x)$，显然：
$$P(y|x)={\mathbb{E}}_{P(w|D)}P(y|x,w$$