人工智能/机器学习基础知识——正则化

正则化（Regularization）

简书

知乎

防止过拟合

L1 Regularization（LASSO）

L1正则化

L2 Regularization（Ridge）

L2正则化

• 假设当前有参数：${\theta }_0，{\theta }_1，{\theta }_2，...，{\theta }_n$，则正则化项可表示为：$$\lambda \sum _{j=0}^n{\theta }_j^2$$

• 核心思想是通过增加正则化项来缩小参数值进而减少过拟合。比如添加正则化项$100{\theta }_0^2$，那么在梯度下降算法中更新${\theta }_0$参数时，根据公式：$${\theta }_i={\theta }_i-\alpha \frac{\partial L({\theta }_1,{\theta }_2,{\theta }_3,...,{\theta }_n)}{\partial {\theta }_i}$$那么${\theta }_0$的值就会比没有正则化时小了$200{\theta }_0$，这样就通过添加一个λ系数较大的正则化项来达到减少参数值的目的，从而避免过拟合

• 对于参数值缩小这点可以理解为：较好的拟合函数假设为$${\theta }_2{x}^2+{\theta }_{1}x+{\theta }_0$$另一个过拟合的函数假设为$${\theta }_4{x}^4+{\theta }_3{x}^3+{\theta }_2{x}^2+{\theta }_{1}x+{\theta }_0$$当对过拟合函数增加如下正则化项$$100{\theta }_3^2+100{\theta }_4^2$$那么在梯度下降的不断迭代更新参数过程中，${\theta }_3$和${\theta }_4$就会变得非常小，小到可以忽略不计。那么这时候就可以近似的把过拟合函数当成是较好的拟合函数，因为${\theta }_4{x}^4+{\theta }_3{x}^3$已经小到可以忽略不计。这就是正则化项为什么能避免过拟合的原因

Elastic Net Regularization

弹性网络正则化

Weight Decay

权重衰减

• 在更新时引入衰减系数

  $${\theta }_t\leftarrow (1-\beta ){\theta }_{t-1}-\alpha g_t$$
  $g_t$为第$t$步更新时的梯度，$\alpha$为学习率，$\beta$为权重衰减系数

• 在标准的梯度下降中，权重衰减与L2正则化等价，但在较复杂的优化方法（如Adam）中，两者并不等价

Early Stop

早停

• 根据验证集的损失情况判断是否需要提前结束训练

Dropout

Dropout

• 掩蔽函数

  $$\mathrm{mask}(x)=\{\begin{array}{ll}m\odot x& \text{ Training }\\ px& \text{ Testing }\end{array}$$
  m ∈ { 0 , 1 } D \boldsymbol{m} \in\{0,1\}^{D} m∈{0,1}D为丢弃掩码（Dropout Mask），通过以概率为$p$的伯努利分布随机生成

  • 在测试时，所有的神经元都是可以激活的，这会造成训练和测试时网络的输出不一致．为了缓解这个问题，在测试时需要将神经层的输入$x$乘以$p$，也相当于把不同的神经网络做了平均

• 针对RNN的Dropout

  • 不能直接对每个时刻的隐状态进行随机丢弃，会损害RNN的记忆能力

  • 针对非循环连接进行丢弃（虚线表示丢弃，不同颜色表示不同丢弃掩码）

    

  • 变分丢弃法（Variational Dropout）（相同颜色表示使用相同的丢弃掩码）

    

DropBlock

Paper : DropBlock: A regularization method for convolutional networks

CSDN

DropBlock

Label Smoothing

标签平滑

CSDN

Label Smoothing是对标签的独热码形式进行平滑处理。

• 例如单标签分类[0, 0, 1, 0]，可以将其当成软标签（对应硬标签为2，第二类），平滑处理后变为[0.01, 0.01, 0.97, 0.01]，其实就是对较少样本的类别进行损失计算，避免对样本多的类别过拟合