避免过拟合的正则化方法

旨在减少泛化误差。

Early Stopping

早停法

• 早停法(Early Stopping)常用于确定合适的训练周期数(epoch)

  • 训练周期数是超参数
  • 过少的训练周期，欠拟合
  • 过多的训练周期，过拟合

• 早停法步骤：

  • 划分训练集和验证集
  • 每个(或多个)epoch结束后，在验证集上计算测试误差；如果在验证集上发现测试误差上升，则停止训练
  • 将停止之后的权重作为网络的最终参数

Dropout

训练阶段：以概率𝑝随机移除网络中的神经元结点以及与之相连的所有输入和输出边

测试阶段: 所有神经元处于激活态，但用系数(1 − 𝑝) 减少激活值来补偿训练时丢弃的激活

使用使用inverted dropout

• 在前向传播中，输入被以概率为p的几率置为0；否则被乘以$\frac{1}{1-p}$
• 在反向传播中，被丢弃单元的梯度被置为0；其他梯度被乘以同样的$\frac{1}{1-p}$
• 前向传播哪些神经元被dropout应该被记录下来

训练阶段：直接将dropout后的网络响应（activation）乘以$\frac{1}{1-p}$；在测试阶段不做调整。

Dropout可看作一种集成学习（ ensemble learning）

• 使用一个mini-batch去训练一个网络
• 一些网络的参数被共享

$\ell 2$范数正则化（$\ell 2$ Regularization）

$\ell 1$范数和$\ell 2$是最常用的正则化形式。它们在损失函数上增加了正则化项来更新一般的代价函数。

$$costfunction=Loss(say,binarycrossentroy)+Regularizationterm$$

增加正则化项后，权重矩阵中的值将减小，因为认为具有较小值的权重矩阵的神经网络会是更简单的模型。因此，这将减小过拟合.

对于$\ell 2$范数，
$$costfunction=Loss+\frac{\lambda }{2m}\sum \parallel w{\parallel }^2$$

$\lambda$是正则化参数。它是一个超参数。

$\ell 2$正则化也称为权重衰减 (weight decay) 因为它将迫使权重向零衰减（但不是零）

$$W:=W-(\lambda /m)\times W-learningrate\times dJ(W)/dW$$

权值衰减是一直以来经常被使用的一种抑制过拟合的方法。

该方法通过在学习的过程中对大的权重进行惩罚，来抑制过拟合。

$\ell 1$范数正则化（$\ell 1$ Regularization）

对于$\ell 1$范数，
$$costfunction=Loss+\frac{\lambda }{2m}\sum \parallel w\parallel$$

这里，惩罚的是权重的绝对值。权重可以减小到0。这对压缩模型是有用的。

$\ell 2$范数正则化与权重衰减

一个需要被最小化的新的损失函数：

$$L^{\prime }(w)=L(w)+\frac{\lambda }{2m}\sum \parallel w{\parallel }^2$$

梯度：
$$\frac{\partial L^{\prime }}{\partial w}=\frac{\partial L}{\partial w}+\lambda w$$

梯度下降：
$$w^{t+1}\to w^t-\eta \frac{\partial L^{\prime }}{\partial w}=w^t-\eta (\frac{\partial L}{\partial w}+\lambda w^t)$$
$$=(1-\eta \lambda )w^t-\eta \frac{\partial L}{\partial w}$$

可以看到，$\ell 2$范数正则化对权重有衰减作用。

数据增强

略