从贝叶斯角度理解正则化

前言

---

上一篇：正则化

下一篇：提前终止法与正则化法关系

1.贝叶斯法则

---

贝叶斯法则： $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

$P(A)$称为先验概率（反映在已知$B$之前对事件$A$的认知）；$P(A|B)$称为后验概率（反映在已知$B$之后对事件$A$的认知）；$P(B|A)$是在事件$A$发生的条件下，事件$B$发生的条件概率；$P(B)$是事件的边缘概率（被用作归一化因子）

贝叶斯法则在于先验概率，如果它很大，那么后验概率也将显著增大

2.正则化项

---

一个包括网络输入及其对应目标输出的训练样本集：

{ p 1 , t 1 } , { p 2 , t 2 } , ⋯   , { p n , t n } \left\{ p_{1},t_{1} \right\},\left\{ p_{2},t_{2} \right\},\cdots,\left\{ p_{n},t_{n} \right\} { p1​,t1​},{ p2​,t2​},⋯,{ pn​,tn​}

假设目标输出通过如下方式生成：

$$t_q=g(p_q)+{\epsilon }_q$$ （13.2）

其中，$g()$为某未知函数，${\epsilon }_q$为一个随机独立分布的零均值噪声源。我们的训练目标是产生一个能够逼近函数$g()$并且忽略噪声影响的神经网络。

神经网络训练的标准性能指标是该网络在训练集上的误差平方和：

$$F(x)=E_D=\sum _{q=1}^Q(t_q-a_q{)}^T(t_q-a_q)$$

其中，$a_q$表示输入为时网络的输出。$E_D$这里表示训练数据上的误差平方和。

修改式，添加一个包含逼近函数（我们的例子中为神经网络）导数的惩罚项（或说为正则化项），以平滑所得到的函数。在一定条件下，正则化项可以写成网络权值平方和的形式，如：

$$F(x)=\beta E_D+\alpha E_w=\beta \sum _{q=1}^Q{(t_q-a_q)}^T(t_q-a_q)+\alpha \sum _{i=1}^n{x}_i^2$$

其中，比率$\alpha /\beta$用于控制网络解的有效复杂度。比率越大，网络响应越平滑。

正则化项本质上是一种先验信息，整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计，其中正则化项对应后验估计中的先验信息，损失函数对应后验估计中的似然函数，两者的乘积即对应贝叶斯最大后验估计的形式，如果你将这个贝叶斯最大后验估计的形式取对数，即进行极大似然估计，你就会发现问题立马变成了损失函数+正则化项的最优化问题形式。

3.贝叶斯正则化

---

David Mackey将神经网络的训练置于贝叶斯框架中，除了选取正则化参数外，它还对训练过程的很多方面有所帮助。

该贝叶斯分析有两层：

• 对正则化性能指标进行统计学推导，理解参数的意义；
• 第二层：估计参数。

第$I$层贝叶斯框架

该贝叶斯框架假设神经网络的权值为随机变量。对于给定的数据集，我们选取能够最大化权值的条件概率的权值。贝叶斯法则用于计算如下概率函数：

$P(x|D,\alpha ,\beta ,M)=\frac{P(D|x,\beta ,M)P(x|\alpha ,M)}{P(D|\alpha ,\beta ,M)}$

其中，$x$是包含网络所有权值和偏置量；$D$表示训练数据集； α \alpha