PRML学习总结（5）——Neural Networks

在第3章和第4章中，我们考虑了由固定基函数的线性组合构成的回归模型和分类模型。我们看到，这些模型具有⼀些有⽤的分析性质和计算性质，但是它们的实际应⽤被维数灾难问题限制了。为了将这些模型应⽤于⼤规模的问题，有必要根据数据调节基函数。

5.1 Feed-forward Network Functions

回归的线性模型和分类的线性模型分别在第3章和第4章中讨论过了。它们基于固定⾮线性基函数${\varphi }_j(\mathbf{x})$的线性组合，形式为$$y(\mathbf{x},\mathbf{w})=f\left(\sum _{j=1}^M{w}_j{\varphi }_j(\mathbf{x})\right)$$现在考虑将基函数中引入参数，构造$M$个输出神经元$$a_j=\sum _{i=1}^D{w}_{ji}^{(1)}{x}_i+w_{j0}^{(1)}$$其中$j=1,\dots ,M$，上标(1)代表层。以上被称为激活，每个激活都有一个非线性的激活函数$$z_j=h\left(a_j\right)$$，将第一层的输出作为第二层的输入$$a_k=\sum _{j=1}^M{w}_{kj}^{(2)}{z}_j+w_{k0}^{(2)}$$其中$k=1,\dots ,K$，$K$为第二层神经元的数量。

对于不同的任务可以选择不同的激活函数，对于标准的回归问题，$y_k=a_k$；对于二分类问题$y_k=\sigma \left(a_k\right)$。对于多分类问题，可以考虑softmax函数。

5.1.1 Weight-space symmetries

前馈神经⽹络的⼀个性质是，对于多个不同的权向量$\mathbf{W}$的选择，⽹络可能产⽣同样的从输⼊到输出的映射函数。

5.2 Network Training

对于网络的训练，可以参照之前的方式，损失函数为$$E(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N{\Vert \mathbf{y}\left({\mathbf{x}}_n,\mathbf{w}\right)-{\mathbf{t}}_n\Vert }^2$$先考虑输出为一维的回归问题，$$p(t|\mathbf{x},\mathbf{w})=\mathcal{N}\left(t|y(\mathbf{x},\mathbf{w}),{\beta }^{-1}\right)$$似然函数$$p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )=\prod _{n=1}^{N}p\left(t_n|{\mathbf{x}}_n,\mathbf{w},\beta \right)$$则负log为 β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 − N 2 ln ⁡ β + N 2 ln ⁡ ( 2 π ) \frac { \beta } { 2 } \sum _ { n = 1 } ^ { N } \left\{ y \left( \mathbf { x } _ { n } , \mathbf { w } \right) - t _ { n } \right\} ^ { 2 } - \frac { N } { 2 } \ln \beta + \frac { N } { 2 } \ln ( 2 \pi ) 2β​n=1∑N​{y(xn​,w)−tn​}2−2N​lnβ+2N​ln(2π)利用上式优化目标可以确定参数$\mathbf{w}$和$\beta$。首先考虑优化参数$\mathbf{w}$，则只需要考虑 E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 E ( \mathbf { w } ) = \frac { 1 } { 2 } \sum _ { n = 1 } ^ { N } \left\{ y \left( \mathbf { x } _ { n } , \mathbf { w } \right) - t _ { n } \right\} ^ { 2 } E(w)=21​n=1∑N​{y(xn​,w)−tn​}2在确定${\mathbf{w}}_{\mathrm{M}\mathrm{L}}$之后，可以得到 1 β M L = 1 N ∑ n = 1 N { y ( x n , w M L ) − t n } 2 \frac { 1 } { \beta _ { \mathrm { ML } } } = \frac { 1 } { N } \sum _ { n = 1 } ^ { N } \left\{ y \left( \mathbf { x } _ { n } , \mathbf { w } _ { \mathrm { ML } } \right) - t _ { n } \right\} ^ { 2 } βML​1​=N1​n=1∑N​{y(xn​,wML​)−tn​}2现在考虑多维输出的情况$$p(\mathbf{t}|\mathbf{x},\mathbf{w})=\mathcal{N}\left(\mathbf{t}|\mathbf{y}(\mathbf{x},\mathbf{w}),{\beta }^{-1}\mathbf{I}\right)$$则$$\frac{1}{{\beta }_{\mathrm{M}\mathrm{L}}}=\frac{1}{NK}\sum _{n=1}^N{\Vert \mathbf{y}|\left({\mathbf{x}}_n,{\mathbf{w}}_{\mathrm{M}\mathrm{L}}\right)-{\mathbf{t}}_n\Vert }^2$$在回归问题时$y_k=a_k$，则$$\frac{\partial E}{\partial a_k}=y_k-t_k$$下面考虑二分类问题，则输出激活函数为$$y=\sigma (a)\equiv \frac{1}{1+\exp (-a)}$$，可以将$y(\mathbf{x},\mathbf{W})$作为$p\left({\mathcal{C}}_1|\mathbf{x}\right)$，那么 p ( t ∣ x , w ) = y ( x , w ) t { 1 − y ( x , w ) } 1 − t p ( t | \mathbf { x } , \mathbf { w } ) = y ( \mathbf { x } , \mathbf { w } ) ^ { t } \{ 1 - y ( \mathbf { x } , \mathbf { w } ) \} ^ { 1 - t } p(t∣x,w)=y(x,w)t{1−y(x,w)}1−t则损失函数为（负log） E ( w ) = − ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } E ( \mathbf { w } ) = - \sum _ { n = 1 } ^ { N } \left\{ t _ { n } \ln y _ { n } + \left( 1 - t _ { n } \right) \ln \left( 1 - y _ { n } \right) \right\} E(w)=−n=1∑N​{tn​lnyn​+(1−tn​)ln(1−yn​)}如果有$K$个独立的二分类问题$$p(\mathbf{t}|\mathbf{x},\mathbf{w})=\prod _{k=1}^K{y}_k(\mathbf{x},\mathbf{w}{)}^{t_k}{\left[1-y_k(\mathbf{x},\mathbf{w})\right]}^{1-t_k}$$我们可以对⽐⼀下这个问题的神经⽹络解和第4章讨论过的线性分类模型给出的解，从⽽发现⼀些有趣的事情。假设我们使⽤图5.1所⽰的标准的两层神经⽹络。我们看到，⽹络第⼀层的权向量由各个输出所共享，⽽在线性模型中每个分类问题是独⽴地解决的。神经⽹络的第⼀层可以被看做进⾏了⼀个⾮线性的特征抽取，⽽不同的输出之间共享特征可以节省计算量，同时也提升了泛化能⼒。 E ( w ) = − ∑ n = 1 N ∑ k = 1 K { t n k ln ⁡ y n k + ( ∣ 1 − t n k ) ln ⁡ ( 1 − y n k ) } E ( \mathbf { w } ) = - \sum _ { n = 1 } ^ { N } \sum _ { k = 1 } ^ { K } \left\{ t _ { n k } \ln y _ { n k } + \left( | 1 - t _ { n k } \right) \ln \left( 1 - y _ { n k } \right) \right\} E(w)=−n=1∑N​k=1∑K​{tnk​lnynk​+(∣1−tnk​)ln(1−ynk​)}最后考虑多分类问题，可以将网络的输出$y_k(\mathbf{x},\mathbf{w})=p\left(t_k=1|\mathbf{x}\right)$$$E(\mathbf{w})=-\sum _{n=1}^N\sum _{k=1}^K{t}_{kn}\ln y_k\left({\mathbf{x}}_n,\mathbf{w}\right)$$根据第四章可知$$y_k(\mathbf{x},\mathbf{w})=\frac{\exp \left(a_k(\mathbf{x},\mathbf{w})\right)}{{\sum }_j\exp \left(a_j(\mathbf{x},\mathbf{w})\right)}$$针对于不同问题有不同的损失函数以及最后一层的激活函数。

5.2.1 Parameter optimization

对于神经网络来说，优化参数到全局最优是很困难的，一般采用迭代的方式进行优化参数，梯度下降$${\mathbf{w}}^{(\tau +1)}={\mathbf{w}}^{(\tau )}+\Delta {\mathbf{w}}^{(\tau )}$$

5.2.2 Local quadratic approximation

考虑局部二次近似误差函数，利用泰勒$$E(\mathbf{w})\simeq E(\hat{\mathbf{w}})+(\mathbf{w}-\hat{\mathbf{w}}{)}^{\mathrm{T}}\mathbf{b}+\frac{1}{2}(\mathbf{w}-\hat{\mathbf{w}}{)}^{\mathrm{T}}\mathbf{H}(\mathbf{w}-\hat{\mathbf{w}})$$其中$$\mathbf{b}\equiv \nabla {E|}_{\mathbf{w}=\hat{\mathbf{w}}}$$$$(\mathbf{H}{)}_{ij}\equiv {\frac{\partial E}{\partial w_i\partial w_j}|}_{\mathbf{w}=\hat{\mathbf{w}}}$$那么近似梯度为$$\nabla E\simeq \mathbf{b}+\mathbf{H}(\mathbf{w}-\hat{\mathbf{w}})$$考虑⼀个特殊情况：在误差函数最⼩值点${\mathbf{W}}^{\star }$附近的局部⼆次近似。在这种情况下，没有线性项，因为在${\mathbf{W}}^{\star }$处$\nabla E=0$，$$E(\mathbf{w})=E\left({\mathbf{w}}^{\star }\right)+\frac{1}{2}{\left(\mathbf{w}-{\mathbf{w}}^{\star }\right)}^{\mathrm{T}}\mathbf{H}\left(\mathbf{w}-{\mathbf{w}}^{\star }\right)$$考虑海森矩阵的特征向量$$\mathbf{H}{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$$考虑到其完备性$$\mathbf{w}-{\mathbf{w}}^{\star }=\sum _i{\alpha }_i{\mathbf{u}}_i$$则$$E(\mathbf{w})=E\left({\mathbf{w}}^{\star }\right)+\frac{1}{2}\sum _i{\lambda }_i{\alpha }_i^2$$当一个驻点为最小值时，其海森矩阵为正定矩阵。

5.2.3 Use of gradient information

正如我们将在5.3节看到的那样，可以使⽤误差反向传播的⽅法⾼效地计算误差函数的梯度。这个梯度信息的使⽤可以⼤幅度加快找到极⼩值点的速度。原因如下所述。

5.2.4 Gradient descent optimization

最简单的方式为$${\mathbf{w}}^{(\tau +1)}={\mathbf{w}}^{(\tau )}-\eta \nabla E\left({\mathbf{w}}^{(\tau )}\right)$$梯度下降分为批下降和在线下降。

5.3 Error Backpropagation

5.4 The Hessian Matrix

这两部分内容都是关于网络反向传输时的一阶导数和二阶导数。

5.5 Regularization in Neural Networks

神经⽹络的输⼊单元和输出单元的数量通常由数据集的维度确定，⽽隐含单元的数量$M$是⼀个⾃由的参数，可以通过调节来给出最好的预测性能。注意，$M$控制了⽹络中参数（权值和偏置）的数量，因此我们可以猜想，在最⼤似然的框架下，会存在⼀个泛化性能最好的最优的$M$值，这个值对应于拟合效果不好和过拟合之间的最优平衡。图5.9给出了不同的$M$值对于正弦曲线回归问题的效果。

然⽽，泛化误差与$M$的关系不是⼀个简单的函数关系，因为误差函数中存在局部极⼩值，如图5.10所⽰。这⾥，我们看到了对于不同的$M$值，权值的多次随机初始化的效果。在验证集上的整体最优表现出现于$M=8$的情况下的某个特定的解。在实际应⽤中，⼀种选择$M$的⽅法实际上是画⼀张类似图5.10的图，然后选择有最⼩验证集误差的具体的解。

然⽽，有其他的⽅式控制神经⽹络的模型复杂度来避免过拟合。根据我们第1章中对多项式曲线拟合问题的讨论，我们看到，⼀种⽅法是选择⼀个相对⼤的$M$值，然后通过给误差函数增加⼀个正则化项，来控制模型的复杂度。最简单的正则化项是⼆次的，给出了正则化的误差函数，形式为$$\tilde{E}(\mathbf{w})=E(\mathbf{w})+\frac{\lambda }{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}$$这个称为weight decay。这样，模型复杂度可以通过选择正则化系数$\lambda$来确定。正如我们之前看到的那样，正则化项可以表⽰为权值$\mathbf{w}$上的零均值⾼斯先验分布的负对数。

5.5.1 Consistent Gaussian priors

简单权值衰减的⼀个局限性是，它与⽹络映射的确定缩放性质不相容。以一个两层的MLP说明该问题，$$z_j=h\left(\sum _i{w}_{ji}{x}_i+w_{j0}\right)$$$$y_k=\sum _j{w}_{kj}{z}_j+w_{k0}$$我们将输入进行一个线性变换$$x_i\to {\tilde{x}}_i=a{x}_i+b$$为了保持网络输出的不变性，可以将网络权重作以下调整$$\begin{array}{rl}{w}_{ji}& \to {\tilde{w}}_{ji}=\frac{1}{a}{w}_{ji}\\ w_{j0}\to {\tilde{w}}_{j0}& =w_{j0}-\frac{b}{a}\sum _i{w}_{ji}\end{array}$$同样的，输出也进行线性变换$$y_k\to {\tilde{y}}_k=c{y}_k+d$$那么第二层的权重可以作以下调整$$\begin{array}{rl}{w}_{kj}& \to {\tilde{w}}_{kj}=c{w}_{kj}\\ w_{k0}& \to {\tilde{w}}_{k0}=c{w}_{k0}+d\end{array}$$如果我们使⽤原始数据训练⼀个⽹络，还使⽤输⼊和（或）⽬标变量进⾏了上⾯的线性变换的数据训练⼀个⽹络，那么相容性要求这两个⽹络应该是等价的，差别仅在于上⾯给出的权值的线性变换。任何正则化项都应该与这个性质相容，否则模型就会倾向于选择某个解，⽽忽视某个等价的解。显然，简单的权值衰减由于把所有的权值和偏置同等对待，因此不满⾜这个性质。
于是我们要寻找一个正则化项，对以上的线性不变性不变，则$$\frac{{\lambda }_1}{2}\sum _{w\in {\mathcal{W}}_1}{w}^2+\frac{{\lambda }_2}{2}\sum _{w\in {\mathcal{W}}_2}{w}^2$$其中${\mathcal{N}}_1$代表第一层的权重，${\mathcal{N}}_2$代表第二层的权重，以上正则中没有偏置。当${\lambda }_1\to a^{1/2}{\lambda }_1$ and ${\lambda }_2\to c^{-1/2}{\lambda }_2$时，就能保证不变性。以上正则对应的先验为$$p\left(\mathbf{w}|{\alpha }_1,{\alpha }_2\right)\propto \exp \left(-\frac{{\alpha }_1}{2}\sum _{w\in {\mathcal{W}}_1}{w}^2-\frac{{\alpha }_2}{2}\sum _{w\in {\mathcal{W}}_2}{w}^2\right)$$注意，这种形式的先验是反常的（improper）（不能够被归⼀化），因为偏置参数没有限制。使⽤反常先验会给正则化系数的选择造成很⼤的困难，也会给贝叶斯框架下的模型选择造成很⼤的困难，因为对应的模型证据等于零。因此，通常的做法是单独包含⼀个有着⾃⼰单独的⼀套超参数的偏置的先验（这就破坏了平移不变性）。为了说明四个参数的效果，我们从先验中抽取样本，然后画出了对应的神经⽹络函数，如图5.11所⽰。

更⼀般地，我们可以考虑权值被分为任意数量的组${\mathcal{W}}_k$的情况下的先验，即$$p(\mathbf{w})\propto \exp \left(-\frac{1}{2}\sum _k{\alpha }_k\Vert \mathbf{w}{\Vert }_k^2\right)$$其中$\Vert \mathbf{w}{\Vert }_k^2={\sum }_{j\in {\mathcal{W}}_k}{w}_j^2$。作为这种形式的先验的⼀个特殊情况，如果我们将每个输⼊单元关联的权值设为⼀个分组，并且关于对应的参数${\alpha }_k$最优化边缘似然函数，那么我们就得到了将在7.2.2节讨论的⾃动相关性确定（automatic relevance determination）的⽅法。

5.5.2 Early stopping

另⼀种控制⽹络的复杂度的正则化⽅法是早停⽌（early stopping）。⾮线性⽹络模型的训练对应于误差函数的迭代减⼩，其中误差函数是关于训练数据集定义的。对于许多⽤于⽹络训练的最优化算法（例如共轭梯度法），误差函数是⼀个关于迭代次数的不增函数。然⽽，在独⽴数据（通常被称为验证集）上测量的误差，通常⾸先减⼩，接下来由于模型开始过拟合⽽逐渐增⼤。于是，训练过程可以在关于验证集误差最⼩的点停⽌，如图5.12所⽰。这样可以得到⼀个有着较好泛化性能的⽹络。

这种情况下，⽹络的⾏为有时可以通过⽹络的⾃由度有效数量来定量描述。⾃由度有效数量开始时很⼩，然后在训练过程中增长，对应于模型复杂度的持续增长。这样，在训练误差达到最⼩值之前停⽌训练就表⽰了⼀种限制模型复杂度的⽅式。
在⼆次误差函数的情况下，我们可以说明这种直观的描述，并且说明早停⽌的效果与使⽤简单的权值衰减的正则化项的效果类似。这可以通过图5.13来理解。

5.5.3 Invariances

在许多模式识别的应⽤中，在对于输⼊变量进⾏了⼀个或者多个变换之后，预测不应该发⽣变化，或者说应该具有不变性（invariant）。例如，在⼆维图像（例如⼿写数字）的分类问题中，⼀个特定的图像的类别应该与图像的位置⽆关（平移不变性（translation invariance）），也应该与图像的⼤⼩⽆关（缩放不变性（scale invariance））。这样的变换对于原始数据（⽤图像的每个像素的灰度值表⽰）产⽣了巨⼤的改变，但是分类系统还是应该给出同样的输出。类似地，在语⾳识别中，对于时间轴的微⼩的⾮线性变形（保持了时间顺序）不应该改变信号的意义。
如果可以得到⾜够多的训练模式，那么可调节的模型（例如神经⽹络）可以学习到不变性，⾄少可以近似地学习到。这涉及到在训练集⾥包含⾜够多的表⽰各种变换的效果的样本。因此，对于⼀个图像的平移不变性，训练集应该包含图像出现在多个不同位置的情况下的数据。
但是，如果训练样本数受限，或者有多个不变性（变换的组合的数量随着变换的数量指数增长），那么这种⽅法就很不实⽤。于是，我们要寻找另外的⽅法来让可调节的模型能够表述所需的不变性。这些⽅法⼤致可以分为四类。
1)通过复制训练模式，同时根据要求的不变性进⾏变换，对训练集进⾏扩展。例如，在⼿写数字识别的例⼦中，我们可以将每个样本复制多次，每个复制后的样本中，图像被平移到了不同的位置。
2)为误差函数加上⼀个正则化项，⽤来惩罚当输⼊进⾏变换时，输出发⽣的改变。这引出了5.5.4节讨论的切线传播（tangent propagation）⽅法。
3)通过抽取在要求的变换下不发⽣改变的特征，不变性被整合到预处理过程中。任何后续的使⽤这些特征作为输⼊的回归或者分类系统就会具有这些不变性。
4)最后⼀种⽅法是把不变性的性质整合到神经⽹络的构建过程中，或者对于相关向量机的⽅法，整合到核函数中。⼀种⽅法是通过使⽤局部接收场和共享权值，正如5.5.6节在卷积神经⽹络中讨论的那样。
⽅法1通常实现起来相对简单，并且可以⽤来处理复杂的不变性，如图5.14所⽰。对于顺序训练算法，可以这样做：在模型观测到输⼊模式之前，对每个输⼊模式进⾏变换，从⽽使得如果模式被循环处理，那么每次都会接收到⼀个不同的变换（从⼀个适当的概率分布中抽取）。对于批处理⽅法，可以将每个数据点复制多次，然后独⽴地变换每个副本，这样可以产⽣类似的效果。使⽤这些扩展后的数据可以⼤幅提升泛化能⼒（Simard et al., 2003），虽然计算开销⽐较⼤。
⽅法2保持了数据集的不变性，⽽是给误差函数增加了⼀个正则化项。在5.5.5节，我们会看到⽅法1与⽅法2关系密切。
⽅法3的⼀个优点是，对于训练集⾥没有包含的变换，它可以正确地进⾏外插。然⽽，找到符合要求的⼈⼯设计的特征很困难，因为这种特征要具有所需的不变性，还不能丢失对于判别很有帮助的信息。

5.5.4 Tangent propagation

通过切线传播（tangent propagation）的⽅法，我们可以使⽤正则化来让模型对于输⼊的变换具有不变性（Simard et al., 1992）。对于⼀个特定的输⼊向量${\mathbf{x}}_n$，考虑变换产⽣的效果。假设变换是连续的（例如平移或者旋转，⽽不是镜像翻转），那么变换的模式会扫过$D$维输⼊空间的⼀个流形$\mathcal{M}$。图5.15
说明了$D=2$的情形。假设变换由单⼀参数$\xi$控制（例如，$\xi$可能是旋转的⾓度）。那么被${\mathbf{x}}_n$扫过的⼦空间$\mathcal{M}$是⼀维的，并且以为参数。令这个变换作⽤于${\mathbf{x}}_n$上产⽣的向量为$\mathbf{s}\left({\mathbf{x}}_n,\xi \right)$，且$\mathbf{s}\left({\mathbf{x}}_n,\xi \right)=\mathbf{x}$。这样曲线$\mathcal{M}$的切线就由⽅向导数$\tau =\partial \mathbf{s}/\partial \xi$给出，且点${\mathbf{x}}_n$处的切线向量为$${\mathbf{\tau }}_n={\frac{\partial \mathbf{s}\left({\mathbf{x}}_n,\xi \right)}{\partial \xi }|}_{\xi =0}$$$${\frac{\partial y_k}{\partial \xi }|}_{\xi =0}=\sum _{i=1}^D\frac{\partial y_k}{\partial x_i}{\frac{\partial x_i}{\partial \xi }|}_{\xi =0}=\sum _{i=1}^D{J}_{ki}{\tau }_i$$对于这种不变性，对误差函数加入一个正则$$\tilde{E}=E+\lambda \Omega$$其中$$\Omega =\frac{1}{2}\sum _n\sum _k{\left({\frac{\partial y_{nk}}{\partial \xi }|}_{\xi =0}\right)}^2=\frac{1}{2}\sum _n\sum _k{\left(\sum _{i=1}^D{J}_{nki}{\tau }_{ni}\right)}^2$$在实际执⾏过程中，切线向量${\mathbf{\tau }}_n$可以使⽤有限差近似，即将原始向量${\mathbf{x}}_n$从使⽤了⼩的$\xi$进⾏变换后的对应的向量中减去，再除以。图5.16说明了这个过程。

5.5.5 Training with transformed data

我们已经看到，让模型对于⼀组变换具有不变性的⼀种⽅法是使⽤原始输⼊模式的变换后的模式来扩展训练集。这⾥，我们会说明，这种⽅法与切线传播的⽅法密切相关。
与之前一样，考虑单因素$\xi$，则经过变换后的数据的误差函数为 E ~ = 1 2 ∭ { y ( s ( x , ξ ) ) − t } 2 p ( t ∣ x ) p ( x ) p ( ξ ) d x d t d ξ \widetilde { E } = \frac { 1 } { 2 } \iiint \{ y ( \mathbf { s } ( \mathbf { x } , \xi ) ) - t \} ^ { 2 } p ( t | \mathbf { x } ) p ( \mathbf { x } ) p ( \xi ) \mathrm { d } \mathbf { x } \mathrm { d } t \mathrm { d } \xi E =21​∭{y(s(x,ξ))−t}2p(t∣x)p(x)p(ξ)dxdtdξ其中$p(\xi )$为0均值和小方差的高斯分布先验。利用泰勒展开$$\mathbf{s}(\mathbf{x},\xi )=\mathbf{s}(\mathbf{x},0)+\xi \frac{\partial }{\partial \xi }\mathbf{s}{(\mathbf{x},\xi )|}_{\xi =0}+\frac{{\xi }^2}{2}\frac{{\partial }^2}{\partial {\xi }^2}\mathbf{s}{(\mathbf{x},\xi )|}_{\xi =0}+O\left({\xi }^3\right)$$$$=\mathrm{x}+\xi \tau +\frac{1}{2}{\xi }^2{\tau }^{\prime }+O\left({\xi }^3\right)$$则$$y(\mathbf{s}(\mathbf{x},\xi ))=y(\mathbf{x})+\xi {\tau }^{\mathrm{T}}\nabla y(\mathbf{x})+\frac{{\xi }^2}{2}\left[{\left({\mathbf{\tau }}^{\prime }\right)}^{\mathrm{T}}\nabla y(\mathbf{x})+{\mathbf{\tau }}^{\mathrm{T}}\nabla \nabla y(\mathbf{x})\mathbf{\tau }\right]+O\left({\xi }^3\right)$$则 E ~ = 1 2 ∬ { y ( x ) − t } 2 p ( t ∣ x ) p ( x ) d x d t + E [ ξ ] ∬ { y ( x ) − t } τ T ∇ y ( x ) p ( t ∣ x ) p ( x ) d x d t + E [ ξ 2 ] ∬ [ { y ( x ) − t } 1 2 { ( τ ′ ) T ∇ y ( x ) + τ T ∇ ∇ y ( x ) τ } + ( τ T ∇ y ( x ) ) 2 ] p ( t ∣ x ) p ( x ) d x d t + O ( ξ 3 ) \begin{aligned} \widetilde { E } & = \frac { 1 } { 2 } \iint \{ y ( \mathbf { x } ) - t \} ^ { 2 } p ( t | \mathbf { x } ) p ( \mathbf { x } ) \mathrm { d } \mathbf { x } \mathrm { d } t \\ & + \mathbb { E } [ \xi ] \iint \{ y ( \mathbf { x } ) - t \} \boldsymbol { \tau } ^ { \mathrm { T } } \nabla y ( \mathbf { x } ) p ( t | \mathbf { x } ) p ( \mathbf { x } ) \mathrm { d } \mathbf { x } \mathrm { d } t \\ & + \mathbb { E } \left[ \xi ^ { 2 } \right] \iint \left[ \{ y ( \mathbf { x } ) - t \} \frac { 1 } { 2 } \left\{ \left( \boldsymbol { \tau } ^ { \prime } \right) ^ { \mathrm { T } } \nabla y ( \mathbf { x } ) + \tau ^ { \mathrm { T } } \nabla \nabla y ( \mathbf { x } ) \tau \right\} \right.\\ & + \left( \boldsymbol { \tau } ^ { \mathrm { T } } \nabla y ( \mathbf { x } ) \right) ^ { 2 } ] p ( t | \mathbf { x } ) p ( \mathbf { x } ) \mathrm { d } \mathbf { x } \mathrm { d } t + O \left( \xi ^ { 3 } \right) \end{aligned} E ​=21​∬{y(x)−t}2p(t∣x)p(x)dxdt+E[ξ]∬{y(x)−t}τT∇y(x)p(t∣x)p(x)dxdt+E[ξ2]∬[{y(x)−t}21​{(τ′)T∇y(x)+τT∇∇y(x)τ}+(τT∇y(x))2]p(t∣x)p(x)dxdt+O(ξ3)​由于$\mathbb{E}[\xi ]=0$，$\mathbb{E}\left[{\xi }^2\right]$ by $\lambda$则$$\tilde{E}=E+\lambda \Omega$$其中 Ω = ∫ [ { y ( x ) − E [ t ∣ x ] } 1 2 { ( τ ′ ) T ∇ y ( x ) + τ T ∇ ∇ y ( x ) τ } + ( τ T ∇ y ( x ) ) 2 ] p ( x ) d x \begin{aligned} \Omega = & \int \left[ \{ y ( \mathbf { x } ) - \mathbb { E } [ t | \mathbf { x } ] \} \frac { 1 } { 2 } \left\{ \left( \tau ^ { \prime } \right) ^ { \mathrm { T } } \nabla y ( \mathbf { x } ) + \boldsymbol { \tau } ^ { \mathrm { T } } \nabla \nabla y ( \mathbf { x } ) \tau \right\} \right.\\ & + \left( \boldsymbol { \tau } ^ { T } \nabla y ( \mathbf { x } ) \right) ^ { 2 } ] p ( \mathbf { x } ) \mathrm { d } \mathbf { x } \end{aligned} Ω=​∫[{y(x)−E[t∣x]}21​{(τ′)T∇y(x)+τT∇∇y(x)τ}+(τT∇y(x))2]p(x)dx​我们可以进⼀步简化这个正则化项，如下所述。在1.5.5节，我们已经看到，使平⽅和误差函数达到最⼩值的函数为⽬标值$t$的条件均值$\mathbb{E}[t|\mathbf{x}]$。我们看到正则化的误差函数等于⾮正则化的误差函数加上⼀个$O(\xi )$的项，因此最⼩化总误差函数的⽹络函数的形式为$$y(\mathbf{x})=\mathbb{E}[t|\mathbf{x}]+O(\xi )$$那么$$\Omega =\frac{1}{2}\int {\left({\tau }^T\nabla y(\mathbf{x})\right)}^{2}p(\mathbf{x})\mathrm{d}\mathbf{x}$$这个结果跟前面的tangent propagation regularizer$$\Omega =\frac{1}{2}\sum _n\sum _k{\left({\frac{\partial y_{nk}}{\partial \xi }|}_{\xi =0}\right)}^2=\frac{1}{2}\sum _n\sum _k{\left(\sum _{i=1}^D{J}_{nki}{\tau }_{ni}\right)}^2$$一致了。
如果我们考虑⼀个特殊情况， 即输⼊变量的变换只是简单地添加随机噪声， 从
⽽$\mathbf{x}\to \mathbf{x}+\mathbf{\xi }$，那么正则化项的形式为$$\Omega =\frac{1}{2}\int \Vert \nabla y(\mathbf{x}){\Vert }^{2}p(\mathbf{x})\mathrm{d}\mathbf{x}$$Tikhonov regularization。我们看到，对于⼩的噪声，Tikhonov正则化与对输⼊添加随机噪声有关系。可以证明，在恰当的情况下，这种做法会提升模型的泛化能⼒。

5.5.6 Convolutional networks

另⼀种构造对输⼊变量的变换具有不变性的模型的⽅法是将不变性的性质融⼊到神经⽹络结构的构建中。这是卷积神经⽹络（convolutional neural network）（LeCun et al., 1989; LeCun et al., 1998）的基础，它被⼴泛地应⽤于图像处理领域。

5.5.7 Soft weight sharing

降低具有⼤量权值参数的⽹络复杂度的⼀种⽅法是将权值分组，然后令分组内的权值相等。这是图5.5.6中讨论的权值共享的⽅法，这种⽅法将⽹络对于图像的平移不变性整合到⽹络的构建过程中。然⽽，它只适⽤于限制的形式可以事先确定的问题中。这⾥，我们考虑软权值共享（soft weight sharing）（Nowlan and Hinton, 1992）。这种⽅法中，权值相等的硬限制被替换为⼀种形式的正则化，其中权值的分组倾向于取近似的值。此外，权值的分组、每组权值的均值，以及分组内的取值范围全都作为学习过程的⼀部分被确定。
回忆⼀下，公式（5.112）给出的简单的权值衰减正则化项可以被看成权值上的⾼斯分布的负对数。我们可以将权值分为若⼲组，⽽不是将所有权值分为⼀个组。分组的⽅法是使⽤⾼斯混合概率分布。混合分布中，每个⾼斯分量的均值、⽅差，以及混合系数，都会作为可调节的参数在学习过程中被确定。于是，我们有下⾯形式的概率密度$$p(\mathbf{w})=\prod _{i}p\left(w_i\right)$$其中$$p\left(w_i\right)=\sum _{j=1}^M{\pi }_j\mathcal{N}\left(w_i|{\mu }_j,{\sigma }_j^2\right)$$以其负log作为正则项$$\Omega (\mathbf{w})=-\sum _i\ln \left(\sum _{j=1}^M{\pi }_j\mathcal{N}\left(w_i|{\mu }_j,{\sigma }_j^2\right)\right)$$则整个损失函数为$$\tilde{E}(\mathbf{w})=E(\mathbf{w})+\lambda \Omega (\mathbf{w})$$如果当$\mathbf{w}$固定时，可以采取EM算法去优化这个问题。但是$\mathbf{w}$也是需要优化的参数，因此采用联合优化的方式。则$$\frac{\partial \tilde{E}}{\partial w_i}=\frac{\partial E}{\partial w_i}+\lambda \sum _j{\gamma }_j\left(w_i\right)\frac{\left(w_i-{\mu }_j\right)}{{\sigma }_j^2}$$其中$${\gamma }_j(w)=\frac{{\pi }_j\mathcal{N}\left(w|{\mu }_j,{\sigma }_j^2\right)}{{\sum }_k{\pi }_k\mathcal{N}\left(w|{\mu }_k,{\sigma }_k^2\right)}$$于是，正则化项的效果是把每个权值拉向第$j$个⾼斯分布的中⼼，拉⼒正⽐于对于给定权值的⾼斯分布的后验概率。这恰好就是我们要寻找的效果。$$\frac{\partial \tilde{E}}{\partial {\mu }_j}=\lambda \sum _i{\gamma }_j\left(w_i\right)\frac{\left({\mu }_i-w_j\right)}{{\sigma }_j^2}$$它具有简单的直观含义，因为它把${\mu }_j$拉向了权值的平均值，拉⼒为第$j$个⾼斯分量产⽣的权值参数的后验概率。$$\frac{\partial \tilde{E}}{\partial {\sigma }_j}=\lambda \sum _i{\gamma }_j\left(w_i\right)\left(\frac{1}{{\sigma }_j}-\frac{{\left(w_i-{\mu }_j\right)}^2}{{\sigma }_j^3}\right)$$它将${\sigma }_j$拉向权值在对应的中⼼${\mu }_j$附近的偏差的平⽅的加权平均，加权平均的权系数与之前⼀样，等于由第$j$个⾼斯分量产⽣的权值参数的后验概率。注意，在实际执⾏过程中，我们会引⼊⼀个新的变量${\eta }_j$，它由下式定义。$${\sigma }_j^2=\exp \left({\eta }_j\right)$$这样就能在整个实数上优化。对于混合系数的求导需要考虑以下约束$$\sum _j{\pi }_j=1,0⩽{\pi }_i⩽1$$同样地，可以引入这样的变量$${\pi }_j=\frac{\exp \left({\eta }_j\right)}{{\sum }_{k=1}^M\exp \left({\eta }_k\right)}$$这样就是无约束优化，则 ∂ E ~ ∂ η j = ∑ i { π j − γ j ( w i ) } \frac { \partial \widetilde { E } } { \partial \eta _ { j } } = \sum _ { i } \left\{ \pi _ { j } - \gamma _ { j } \left( w _ { i } \right) \right\} ∂ηj​∂E ​=i∑​{πj​−γj​(wi​)}我们看到，${\pi }_j$被拉向第$j$个⾼斯分量的平均后验概率。

5.6 Mixture Density Networks

有监督学习的⽬标是对条件概率分布$p(\mathbf{t}|\mathbf{x})$建模。对于许多简单的回归问题来说，这个分布都被选为⾼斯分布。然⽽，实际的机器学习问题中，经常会遇到与⾼斯分布差别相当⼤的概率分布。例如，在逆问题（inverse problem）中，概率分布可以是多峰的，这种情况下，⾼斯分布的假设就会产⽣相当差的预测结果。

考虑⼀个相当简单的问题，这个问题中我们可以很容易地看出多峰性质。这个问题的数据的⽣成⽅式为：对服从区间$(0,1)$的均匀分布的变量$x$进⾏取样，得到⼀组值 { x n } \left\{ x _ { n } \right\} {xn​}，对应的⽬标值$t_n$通过下⾯的⽅式得到：计算函数$x_n+0.3\sin \left(2\pi x_n\right)$，然后添加⼀个服从$(-0.1,0.1)$上的均匀分布的噪声。这样，逆问题就可以这样得到：使⽤相同的数据点，但是交换$x$和$t$的⾓⾊。图5.19给出了正向问题和逆问题的数据集，以及⼀个两层神经⽹络给出的结果。这个两层的神经⽹络有6个隐含单元，⼀个线性输出单元，误差函数为平⽅和误差函数。在⾼斯分布的假设下，最⼩平⽅⽅法对应于最⼤似然⽅法。我们看到，对于不服从⾼斯分布的逆问题，这种解法产⽣的模型⾮常差。

那么可以将$p(\mathbf{t}|\mathbf{x})$建模为混合模型，这个模型为混合密度模型。此处我们考虑为混合高斯模型$$p(\mathbf{t}|\mathbf{x})=\sum _{k=1}^K{\pi }_k(\mathbf{x})\mathcal{N}\left(\mathbf{t}|{\mathbf{\mu }}_k(\mathbf{x}),{\sigma }_k^2(\mathbf{x})\right)$$
考虑到该网络中一些约束条件，如$$\sum _{k=1}^K{\pi }_k(\mathbf{x})=1,0⩽{\pi }_k(\mathbf{x})⩽1$$$${\sigma }_k^2(\mathbf{x})⩾0$$那么可以作以下替代$${\pi }_k(\mathbf{x})=\frac{\exp \left(a_k^{\pi }\right)}{{\sum }_{l=1}^K\exp \left(a_l^{\pi }\right)}$$$${\sigma }_k(\mathbf{x})=\exp \left(a_k^{\sigma }\right)$$训练该网络的目标函数为$$E(\mathbf{w})=-\sum _{n=1}^N\ln \left\{\sum _{k=1}^k{\pi }_k\left({\mathbf{x}}_n,\mathbf{w}\right)\mathcal{N}\left({\mathbf{t}}_n|{\mathbf{\mu }}_k\left({\mathbf{x}}_n,\mathbf{w}\right),{\sigma }_k^2\left({\mathbf{x}}_n,\mathbf{w}\right)\right)\right\}$$仍然采用梯度下降方式训练网络。对于上面给的一个逆的例子，得到

⼀旦混合密度⽹络训练结束，他就可以预测对于任意给定的输⼊向量的⽬标数据的条件密度函数。只要我们关注的是预测输出向量的值的问题，那么这个条件概率密度就能完整地描述⽤于⽣成数据的概率分布。根据这个概率密度函数，我们可以计算不同应⽤中我们感兴趣的更加具体的量。⼀个最简单的量就是⽬标数据的条件均值，即$$\mathbb{E}[\mathbf{t}|\mathbf{x}]=\int \mathbf{t}p(\mathbf{t}|\mathbf{x})\mathrm{d}\mathbf{t}=\sum _{k=1}^K{\pi }_k(\mathbf{x}){\mathbf{\mu }}_k(\mathbf{x})$$$$\begin{array}{rl}{s}^2(\mathbf{x})& =\mathbb{E}\left[\Vert \mathbf{t}-\mathbb{E}[\mathbf{t}|\mathbf{x}]{\Vert }^2|\mathbf{x}\right]\\ & =\sum _{k=1}^K{\pi }_k(\mathbf{x})\left\{{\sigma }_k^2(\mathbf{x})+{\Vert {\mathbf{\mu }}_k(\mathbf{x})-\sum _{l=1}^K{\pi }_l(\mathbf{x}){\mathbf{\mu }}_l(\mathbf{x})\Vert }^2\right\}\end{array}$$

5.7 Bayesian Neural Networks

到目前为止训练网络都是采用最大似然的方式。正则化的最大似然可以看作为MAP。而对于贝叶斯观点我们需要把参数都margin。

5.7.1 Posterior parameter distribution

考虑一个一维情况，建模$$p(t|\mathbf{x},\mathbf{w},\beta )=\mathcal{N}\left(t|y(\mathbf{x},\mathbf{w}),{\beta }^{-1}\right)$$其中$y(\mathbf{x},\mathbf{w})$为神经网络。同样地对参数设置一个先验$$p(\mathbf{w}|\alpha )=\mathcal{N}\left(\mathbf{w}|0,{\alpha }^{-1}\mathbf{I}\right)$$则似然为$$p(\mathcal{D}|\mathbf{w},\beta )=\prod _{n=1}^N\mathcal{N}\left(t_n|y\left({\mathbf{x}}_n,\mathbf{w}\right),{\beta }^{-1}\right)$$则后验$$p(\mathbf{w}|\mathcal{D},\alpha ,\beta )\propto p(\mathbf{w}|\alpha )p(\mathcal{D}|\mathbf{w},\beta )$$由于神经网络的非线性，所以后验不再是一个高斯。所以可以利用拉普拉斯近似这个后验。第一步是找到MAP。通过优化一下目标即可 ln ⁡ p ( w ∣ D ) = − α 2 w T w − β 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 +  const  \ln p ( \mathbf { w } | \mathcal { D } ) = - \frac { \alpha } { 2 } \mathbf { w } ^ { \mathrm { T } } \mathbf { w } - \frac { \beta } { 2 } \sum _ { n = 1 } ^ { N } \left\{ y \left( \mathbf { x } _ { n } , \mathbf { w } \right) - t _ { n } \right\} ^ { 2 } + \text { const } lnp(w∣D)=−2α​wTw−2β​n=1∑N​{y(xn​,w)−tn​}2+ const 根据拉普拉斯近似$$\mathbf{A}=-\nabla \nabla \ln p(\mathbf{w}|\mathcal{D},\alpha ,\beta )=\alpha \mathbf{I}+\beta \mathbf{H}$$则高斯近似为$$q(\mathbf{w}|\mathcal{D})=\mathcal{N}\left(\mathbf{w}|{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}},{\mathbf{A}}^{-1}\right)$$则预测分布为$$p(t|\mathbf{x},\mathcal{D})=\int p(t|\mathbf{x},\mathbf{w})q(\mathbf{w}|\mathcal{D})\mathrm{d}\mathbf{w}$$但是以上仍然是不可解析的。那么进一步假设$$y(\mathbf{x},\mathbf{w})\simeq y\left(\mathbf{x},{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)+{\mathbf{g}}^{\mathbf{T}}\left(\mathbf{w}-{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)$$其中$$\mathbf{g}={\nabla }_{\mathbf{w}}y{(\mathbf{x},\mathbf{w})|}_{\mathbf{w}={\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}}$$则(linear-Gaussian model)$$p(t|\mathbf{x},\mathbf{w},\beta )\simeq \mathcal{N}\left(t|y\left(\mathbf{x},{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)+{\mathbf{g}}^{\mathbf{T}}\left(\mathbf{w}-{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right),{\beta }^{-1}\right)$$最终预测分布为$$p(t|\mathbf{x},\mathcal{D},\alpha ,\beta )=\mathcal{N}\left(t|y\left(\mathbf{x},{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right),{\sigma }^2(\mathbf{x})\right)$$其中$${\sigma }^2(\mathbf{x})={\beta }^{-1}+{\mathbf{g}}^{\mathrm{T}}{\mathbf{A}}^{-1}\mathbf{g}$$

5.7.2 Hyperparameter optimization

之前超参数$\alpha$ and $\beta$为固定值，可以利用model evidence求超参数。
$$p(\mathcal{D}|\alpha ,\beta )=\int p(\mathcal{D}|\mathbf{w},\beta )p(\mathbf{w}|\alpha )\mathrm{d}\mathbf{w}$$利用之前4.4.1的model evidence的近似可知$$\ln p(\mathcal{D}|\alpha ,\beta )\simeq -E\left({\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)-\frac{1}{2}\ln |\mathbf{A}|+\frac{W}{2}\ln \alpha +\frac{N}{2}\ln \beta -\frac{N}{2}\ln (2\pi )$$其中$W$代表参数的总量。其中 E ( w M A P ) = β 2 ∑ n = 1 N { y ( x n , w M A P ) − t n } 2 + α 2 w M A P T W M A P E \left( \mathbf { w } _ { \mathrm { MAP } } \right) = \frac { \beta } { 2 } \sum _ { n = 1 } ^ { N } \left\{ y \left( \mathbf { x } _ { n } , \mathbf { w } _ { \mathrm { MAP } } \right) - t _ { n } \right\} ^ { 2 } + \frac { \alpha } { 2 } \mathbf { w } _ { \mathrm { MAP } } ^ { \mathrm { T } } \mathbf { W } _ { \mathrm { MAP } } E(wMAP​)=2β​n=1∑N​{y(xn​,wMAP​)−tn​}2+2α​wMAPT​WMAP​则超参数只需要最大化这个model evidence即可。首先定义$$\beta \mathbf{H}{\mathbf{u}}_i={\lambda }_i{\mathbf{u}}_i$$则可得$$\alpha =\frac{\gamma }{{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}^{\mathrm{T}}{\mathbf{W}}_{\mathrm{M}\mathrm{A}\mathrm{P}}}$$其中$$\gamma =\sum _{i=1}^W\frac{{\lambda }_i}{\alpha +{\lambda }_i}$$ 1 β = 1 N − γ ∑ n = 1 N { y ( x n , w M A P ) − t n } 2 \frac { 1 } { \beta } = \frac { 1 } { N - \gamma } \sum _ { n = 1 } ^ { N } \left\{ y \left( \mathbf { x } _ { n } , \mathbf { w } _ { \mathrm { MAP } } \right) - t _ { n } \right\} ^ { 2 } β1​=N−γ1​n=1∑N​{y(xn​,wMAP​)−tn​}2

5.7.3 Bayesian neural networks for classification

首先考虑二分类问题，似然函数为 ln ⁡ p ( D ∣ w ) = ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } \ln p ( \mathcal { D } | \mathbf { w } ) = \sum _ { n } = 1 ^ { N } \left\{ t _ { n } \ln y _ { n } + \left( 1 - t _ { n } \right) \ln \left( 1 - y _ { n } \right) \right\} lnp(D∣w)=n∑​=1N{tn​lnyn​+(1−tn​)ln(1−yn​)}同样地首先优化超参数$$\ln p(\mathcal{D}|\alpha )\simeq -E\left({\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)-\frac{1}{2}\ln |\mathbf{A}|+\frac{W}{2}\ln \alpha +\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}$$其中 E ( w M A P ) = − ∑ n = 1 N { t n ln ⁡ y n + ( 1 − t n ) ln ⁡ ( 1 − y n ) } + α 2 w M A P T W M A P E \left( \mathbf { w } _ { \mathrm { MAP } } \right) = - \sum _ { n = 1 } ^ { N } \left\{ t _ { n } \ln y _ { n } + \left( 1 - t _ { n } \right) \ln \left( 1 - y _ { n } \right) \right\} + \frac { \alpha } { 2 } \mathbf { w } _ { \mathrm { MAP } } ^ { \mathrm { T } } \mathbf { W } _ { \mathrm { MAP } } E(wMAP​)=−n=1∑N​{tn​lnyn​+(1−tn​)ln(1−yn​)}+2α​wMAPT​WMAP​跟最大化之前得到关于$\alpha$的结果一致。
为了得到预测分布与之前⼀样，由于⽹络函数的⾮线性的性质，积分是⽆法直接计算的。最简单的近似⽅法是假设后验概率⾮常窄，因此可以进⾏下⾯的近似$$p(t|\mathbf{x},\mathcal{D})\simeq p\left(t|\mathbf{x},{\mathbf{w}}_{MAP}\right)$$然⽽，我们可以放宽这个假设，通过考虑后验概率分布的⽅差。在这种情况下，与回归问题的情形相同，对⽹络输出进⾏线性近似是不合适的，因为输出激活函数是logistic sigmoid函数，将输出限制在了区间(0; 1)。相反，我们对输出激活函数进⾏线性近似，形式为$$a(\mathbf{x},\mathbf{w})\simeq a_{\mathrm{M}\mathrm{A}\mathrm{P}}(\mathbf{x})+{\mathbf{b}}^{\mathrm{T}}\left(\mathbf{w}-{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)$$其中$\mathbf{b}\equiv \nabla a\left(\mathbf{x},{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)$
由于我们现在对$\mathbf{w}$的后验概率分布进⾏了⾼斯近似，并且$a$的模型是$\mathbf{w}$的线性函数，因此我们现在可以使⽤4.5.2节的结果。由神经⽹络的权值的分布引出的输出单元激活的值的分布为$$p(a|\mathbf{x},\mathcal{D})=\int \delta \left(a-a_{\mathrm{M}\mathrm{A}\mathrm{P}}(\mathbf{x})-{\mathbf{b}}^{\mathrm{T}}(\mathbf{x})\left(\mathbf{w}-{\mathbf{w}}_{\mathrm{M}\mathrm{A}\mathrm{P}}\right)\right)q(\mathbf{w}|\mathcal{D})\mathrm{d}\mathbf{w}$$