Pytorch基础学习（第六章-Pytorch的正则化）

课程一览表：

目录

一、正则化之weight_decay

1.正则化与方差、偏差、噪声的概念

2.正则化策略（L1、L2）

3.pytorch中的L2正则项——weight decay

二、Bacth Normalization

1.Batch Normalization概念

2.Pytorch的Batch Normalization 1d/2d/3d实现

三、Normalization_layers

1.为什么要Normalization？

2.常见的Normalization——BN、LN、IN and GN

3.Normalization小结

四、正则化之dropout

1.Dropout概念

2.Dropout注意事项

---

一、正则化之weight_decay

1.正则化与方差、偏差、噪声的概念

Regularization（正则化）：减小方差的策略

误差可分解为：偏差、方差与噪声之和。即误差 = 偏差 + 方差 + 噪声

偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力

方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响

噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界