权重衰减（weight decay）在贝叶斯推断（Bayesian inference）下的理解

摘要

对于有过拟合的模型，我们经常会用权重衰减（weight decay）这样一种正则化（regularization）的方法。直观上，权重衰减就是在原损失函数的基础上加入了一个对权重模（norm）的惩罚项。这个惩罚项的加入使我们可以权衡模型的灵活性（权重值的绝对值越大，模型越灵活）与稳定性（权重值的绝对值越小，模型越稳定）。那么权重衰减与贝叶斯推断是什么关系呢？本文就来简单介绍下贝叶斯视角下的权重衰减的理解。

权重衰减

假设我们模型的参数是 $W$ （$W$ 是一个向量）。假设模型的损失函数是 $J(W)$。加入权重衰减之后，损失函数就变成了 $J(W)+\lambda \sum _i{w}_i^2$。为了不失一般性，我们将 $J(W)$ 写成 $\sum _j(y_j-f(W,x_j){)}^2$。 其中 $y_j$ 是第 $j$ 个训练数据对应的真实的 $y$ 值。 $\lambda$ 是一个超参数，可以通过交叉验证 (cross validation) 来确定。模型训练就是要找到最佳的参数 $W$，使得损失函数最小。

贝叶斯(Bayes inference) 视角下的权重衰减

在贝叶斯视角下如何去看权重衰减呢？

假设我们的训练数据集是 $D$，权重是 $W$。我们用条件概率 $\mathbb{P}(W|D)$ 表示在观测到数据 $D$ 的条件下，模型中参数为 $W$ 的概率。

根据 Bayes 公式，我们可以将 $\mathbb{P}(W|D)$ 写成
$\mathbb{P}(W|D)=\frac{\mathbb{P}(W)\cdot \mathbb{P}(D|W)}{\mathbb{P}(D)}$

从贝叶斯推断的角度去考虑模型的参数选择，我们就是希望找到模型的参数 $W$，使得 $\mathbb{P}(W|D)$ 最大。

在上面的公式右边的项中，$\mathbb{P}(D)$ 表示观测到数据 $D$ 的概率，这个概率是通过对所有的权重 $W$ 可能取到的值的积分而得，所以与 $W$ 无关。

对于 $\mathbb{P}(W)$，即权重的先验分布。我们假设 $W$ 服从正态分布，可以写成 $\mathbb{P}(W)=\frac{1}{\sqrt{2\pi {\sigma }_w^2}}{e}^{-\frac{w^2}{2{\sigma }_w^2}}$。

而对于 $\mathbb{P}(D|W)$，它表示的是在给定模型的参数的时候，观察到训练数据集的条件概率。在这里我们做一个假设，即在给定输入数据 input 以及模型参数 $W$ 的时候，准确的 $y$ 的值的分布是一个正态分布。我们记准确的 $y$ 的值是 $t_c$，那么我们的假设可以表示为 $p(t_c|y_c)=\frac{1}{\sqrt{2\pi {\sigma }_D^2}}{e}^{-\frac{(t_c-y_c{)}^2}{2{\sigma }_D^2}}$。

似然函数（log likelihood）

我们的目的是要求使得 $\mathbb{P}(W|D)$ 最大的权重参数 $W$。因为 log 函数是单调的，所以取 log 之后不改变结果。从而，我们有 $\underset{W}{\mathrm{argmax}}\mathbb{P}(W|D)=\underset{W}{\mathrm{argmax}}\left(\log \left(\mathbb{P}(W|D)\right)\right)$。而

$$\log \left(\mathbb{P}(W|D)\right)=\log \mathbb{P}(W)+\log \mathbb{P}(D|W)-\log \mathbb{P}(D)$$

因为 $\log \mathbb{P}(D)$ 与 $W$ 无关，于是我们有
$$\underset{W}{\mathrm{argmax}}\left(\log \left(\mathbb{P}(W|D)\right)\right)=\underset{W}{\mathrm{argmax}}(\log \mathbb{P}(W)+\log \mathbb{P}(D|W))$$

根据之前的分析，我们可以把。$\log P(W)$ 写成 $-\frac{w^2}{2{\sigma }_w^2}-\log (\sqrt{2\pi })-\log ({\sigma }_w)$。

而 $\log (\mathbb{P}(D|W))=-\frac{(t_c-y_c{)}^2}{2{\sigma }_D^2}-\log (\sqrt{2\pi })-\log ({\sigma }_D)$

我们求使得 $\mathbb{P}(W|D)$ 最大的权重参数 $W$，与求使得 $-\log (\mathbb{P}(W|D))$ 最小的 $W$ 是一样的。省略掉常数项，同时省略掉 $\log ({\sigma }_w)$ 与 $\log ({\sigma }_D)$ 的项。我们就有

$$-\log (\mathbb{P}(W|D))=\sum \frac{(t_c-y_c{)}^2}{2{\sigma }_D^2}+\sum \frac{w^2}{2{\sigma }_w^2}$$

可以看出，这个表达式与我们把权重衰减当作惩罚项去优化的表达式是一样的。

于是我们发现，在一定的假设条件下，贝叶斯推断下去找 $W$，使得 $-\log (\mathbb{P}(W|D))$ 最小，与把权重衰减当作惩罚项，得到的表达式是一样的。

参考资料

[1] Hinton deep learning 课程相关视频