【机器学习基础】神经网络正则化

本系列为《模式识别与机器学习》的读书笔记。

一，相容的⾼斯先验

神经⽹络的输⼊单元和输出单元的数量通常由数据集的维度确定，⽽隐含单元的数量 $M$ 是⼀个⾃由的参数，可以通过调节来给出最好的预测性能。

控制神经⽹络的模型复杂度来避免过拟合，根据对多项式曲线拟合问题的讨论，⼀种⽅法是选择⼀个相对⼤的 $M$ 值，然后通过给误差函数增加⼀个正则化项，来控制模型的复杂度。最简单的正则化项是⼆次的，给出了正则化的误差函数，形式为
$$\tilde{E}(\mathbf{w})=E(\mathbf{w})+\frac{\lambda }{2}{\mathbf{w}}^T\mathbf{w}\text{\hspace{1em}(5.73)}$$
这个正则化项也被称为权值衰减（weight decay）。模型复杂度可以通过选择正则化系数 $\lambda$ 来确定，正则化项可以表⽰为权值 $\mathbf{w}$ 上的零均值⾼斯先验分布的负对数。

公式(5.73)给出的简单权值衰减的⼀个局限性是：它与⽹络映射的确定缩放性质不相容。考虑⼀个多层感知器⽹络，这个⽹络有两层权值和线性输出单元，给出了从输⼊变量集合 { x i } \{x_i\} { xi​} 到输出变量集合 { y k } \{y_k\} { yk​} 的映射。第⼀个隐含层的隐含单元的激活的形式为

$$z_j=h\left(\sum _i{w}_{ji}{x}_i+w_{j0}\right)\text{\hspace{1em}(5.74)}$$

输出单元的激活为

$$y_k=\sum _j{w}_{kj}{z}_j+w_{k0}\text{\hspace{1em}(5.75)}$$

假设对输⼊变量进⾏⼀个线性变换，形式为

$$x_i\to {\tilde{x}}_i=a{x}_i+b\text{\hspace{1em}(5.76)}$$

然后根据这个映射对⽹络进⾏调整，使得⽹络给出的映射不变。调整的⽅法为，对从输⼊单元到隐含层单元的权值和偏置也进⾏⼀个对应的线性变换，形式为

$$w_{ji}\to {\tilde{w}}_{ji}=\frac{1}{a}{w}_{ji}$$

$$w_{j0}\to {\tilde{w}}_{j0}=w_{j0}-\frac{b}{a}\sum _i{w}_{ji}$$

⽹络的输出变量的线性变换

$$y_k\to {\tilde{y}}_k=c{y}_k+d\text{\hspace{1em}(5.77)}$$

可以通过对第⼆层的权值和偏置进⾏线性变换的⽅式实现。变换的形式为

$$w_{kj}\to {\tilde{w}}_{kj}=c{w}_{kj}$$

$$w_{k0}\to {\tilde{w}}_{k0}=c{w}_{k0}+d$$

于是要寻找⼀个正则化项，它在上述线性变换和下具有不变性，这需要正则化项应该对于权值的重新缩放不变，对于偏置的平移不变。这样的正则化项为

$$\frac{{\lambda }_1}{2}\sum _{w\in {\mathcal{W}}_1}{w}^2+\frac{{\lambda }_2}{2}\sum _{w\in {\mathcal{W}}_2}{w}^2$$

其中 ${\mathcal{W}}_1$ 表⽰第⼀层的权值集合，${\mathcal{W}}_2$ 表⽰第⼆层的权值集合， 偏置未出现在求和式中。这个正则化项在权值的变换下不会发⽣变化，只要正则化参数进⾏下⾯的重新放缩即可：${\lambda }_1\to a^{\frac{1}{2}}{\lambda }_1$ 和 ${\lambda }_2\to a^{-\frac{1}{2}}{\lambda }_2$ ， 正则化项对应于下⾯形式的先验概率分布。

$$p(\mathbf{w}|{\alpha }_1,{\alpha }_2)\propto \exp (-\frac{{\alpha }_1}{2}\sum _{w\in {\mathcal{W}}_1}{w}^2-\frac{}{2}$$