L1、L2正则化

参考资料： https://www.bilibili.com/video/BV1B7411L7Qt?p=13

一. 关于过拟合、欠拟合

过拟合、欠拟合问题是机器学习中非常常见的问题，特别是对于深度神经网络来说，经常出现过拟合的问题。

• 欠拟合：模型不能有效拟合数据集，对现有数据集学习不够彻底。
• 解决办法：
  1. 增加输入特征项
  2. 增加网络参数
  3. 减少正则化参数
• 过拟合：模型对当前数据拟合过好，但是对于新的数据难以作出正确的判断，模型泛化能力弱。（拟合曲线不平滑）
• 解决办法：
  1. 数据清洗
  2. 增大数据集
  3. 采用正则化
  4. 增大正则化参数

二. L1、L2正则化

正则化是在损失函数中引入模型复杂度指标。通过给权重加权值，弱化训练数据的噪声。如下公式所示：

loss = loss(y与y_) + REGULARIZER * loss(w)

• loss(y与y_) 表示原来的损失函数
• REGULARIZER表示权重w在总loss中的比例，即正则化权重
• loss(w)表示需要正则化的参数（即权重）

2.1 L1正则化

L1正则化是对权重的绝对值求和。（L1范数）

2.2 L2正则化

L2正则化是取权重的平方和。（L2范数）

三. 总结

1. L1正则化会使很多参数变为0，该方法可通过稀疏参数，即减少参数的数量，降低复杂度。
2. L2正则化会使参数很接近0但不为0，该方法可通过减小参数值的大小，从而降低复杂度。

结束。