目录
正则化不单指某一个方法,而是所有损害网络优化的方法都是正则化。
损害网络优化是为了防止过拟合。
使用正则化提高神经网络的泛化能力方法:
干扰优化过程:
- 早停法(Early-Stop)
- 暂退发(Dropout)
- 权重衰减
- SGD
增加约束:
- L1和L2正则化
- 数据增强
早停法
我们使用一个验证集( Validation Dataset)来测试每一次迭代的参数在验证集上是否最优。如果在验证集上的错误率不再下降,就停止迭代。
暂退法
当神经元足够多时容易产生协同效应,即有些神经元具有相似的行为,为解决这一问题,可以引入一个掩码函数mask,随机丢弃部分神经元,掩码函数对x进行随机掩码,对x的每一维随机乘以0或1,0和1是通过一个概率为p的伯努利分布随机生成的。
对于一个神经层𝑦 = 𝑓(𝑊𝑥+𝑏)y = f(Wx+b),引入一个丢弃函数𝑑(·)使得𝑦 = 𝑓(𝑊𝑑(𝑥)+𝑏)。
其中𝑚 ∈ {0,1}𝑑 是丢弃掩码(dropout mask),通过以概率为p的贝努力分布随机生成。
Dropout的意义:
每做一次丢弃,相当于从原始的网络中采样得到一个子网络。如果一个神经网络有n个神经元,那么总共可以采样出2n个子网络。
权重衰减
通过限制权重的取值范围来干扰优化过程,降低模型能力。
在每次参数更新的是时候,引入一个衰减系数。
在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同。
在较为复杂的优化方法(比如Adam)中,权重衰减和L2正则化并不等价。
L1和L2正则化
优化问题可以写为
上式中,Lp为范数函数,p的取值通常为{1,2}代表L1和L2范数,λ为正则化系数。
数据增强
图像数据的增强主要是通过算法对图像进行转变,引入噪声等方法来增加数据的多样性。
图像数据的增强方法:
- 旋转(Rotation):将图像按顺时针或逆时针方向随机旋转一定角度;
- 翻转(Flip):将图像沿水平或垂直方法随机翻转一定角度;
- 缩放(Zoom In/Out):将图像放大或缩小一定比例;
- 平移(Shift):将图像沿水平或垂直方法平移一定步长;
- 加噪声(Noise):加入随机噪声。