NNDL 实验八 网络优化与正则化（6）网络正则化

7.6 网络正则化方法

正则化（Regularization）是一类通过限制模型复杂度，从而避免过拟合、提高泛化能力的方法，比如引入约束、增加先验、提前停止等。

本节构建一个小数据集和多层感知器来模拟一个过拟合的实验场景，并实现ℓ2正则化、权重衰减和暂退法，观察这些正则化方法是否可以缓解过拟合现象。

7.6.1 数据集构建

7.6.2 模型构建

7.6.2.1 ReLU算子

7.6.2.2 自定义多层感知器

7.6.2.3 损失函数算子

7.6.2.4 模型训练

图中两种颜色的点代表两种类别的分类标签，不同颜色的区域是模型学习到的两个分类区域。

从输出结果看，交界处的点被极细致地进行了区域分割，说明模型存在过拟合现象。 

7.6.3 ℓ1和ℓ2正则化

从输出结果看，过拟合现象有所缓解，说明ℓ2​正则化可以缓解过拟合现象。

 7.6.4 权重衰减

从输出结果看，权重衰减也可以有效缓解过拟合现象

 7.6.5 暂退法

从输出结果看，暂退法可以有效缓解过拟合，但缓解效果不如正则化或权重衰减明显。

 综合比对：