-
目录
实际操作中样本有限,减少特征维度不合适,一般使用正则化来防止过拟合
本文来自华为云课堂,侵权速删。
-
第四章 正则化
-
4.1 过拟合
-
概念
-
根本原因
-
欠拟合具体原因与解决方法
-
过拟合具体原因
-
解决过拟合的两种方法
-
实际操作中样本有限,减少特征维度不合适,一般使用正则化来防止过拟合
-
-
4.2 数据增加
-
概念
-
噪声注入(数据集增强,Dropout,标签平滑)
-
-
4.3 L2与L1正则
-
参数惩罚
-
L2正则
- 特点
倾向对训练集样本公用的特征产生较大的响应,减小对个别样本独有的响应。因此减小了过拟合的风险
-
L2正则
-
L1和L2对比
-
4.4 Dropout
-
Dropout是什么
-
Dropout的工作流程
-
Dropout的作用
- 取平均,让相反的拟合相互抵消
- 阻止了某些特征仅仅在特定的神经元下产生效果的情况,迫使网络学习更加鲁棒的特征
- 模仿基因重组,增强了适应性
- 使用场景
主要是全连接网络
-
-
-
4.5 提前终止
-
通过截止训练防止过拟合,如下图所示
-
-
4.6 随机池化
-
池化的意义
-
两种常见池化的特点最大池化
- 能够学习到图像边缘和纹理结构
- 均值池化
可以减小估计均值的偏移,提升模型的鲁棒性
-
随机池化
-