华为云课堂-AI技术领域课程-深度学习-学习笔记0716第四章

• 目录

  第四章 正则化

  4.1 过拟合

  概念

  根本原因

  欠拟合具体原因与解决方法

  过拟合具体原因

  解决过拟合的两种方法

  实际操作中样本有限，减少特征维度不合适，一般使用正则化来防止过拟合

  4.2 数据增加

  概念

  噪声注入（数据集增强，Dropout，标签平滑）

  4.3 L2与L1正则

  参数惩罚

  L2正则

  L2正则

  L1和L2对比

  4.4 Dropout

  Dropout是什么

  Dropout的工作流程

  Dropout的作用

  4.5 提前终止

  通过截止训练防止过拟合，如下图所示

  4.6 随机池化

  池化的意义

  两种常见池化的特点最大池化

  随机池化

  ---

  本文来自华为云课堂，侵权速删。

• 第四章 正则化

• 4.1 过拟合

  • 概念

    

  • 根本原因

    

  • 欠拟合具体原因与解决方法

    

  • 过拟合具体原因

    

  • 解决过拟合的两种方法

    

  • 实际操作中样本有限，减少特征维度不合适，一般使用正则化来防止过拟合

• 4.2 数据增加

  • 概念

    

  • 噪声注入（数据集增强，Dropout，标签平滑）

    

• 4.3 L2与L1正则

  • 参数惩罚

  

  • L2正则

    

  • 特点
    倾向对训练集样本公用的特征产生较大的响应，减小对个别样本独有的响应。因此减小了过拟合的风险

  • L2正则

    

  • L1和L2对比

    

  • 4.4 Dropout

    • Dropout是什么

      

    • Dropout的工作流程

      

    • Dropout的作用

      

      • 取平均，让相反的拟合相互抵消
      • 阻止了某些特征仅仅在特定的神经元下产生效果的情况，迫使网络学习更加鲁棒的特征
      • 模仿基因重组，增强了适应性
    • 使用场景
      主要是全连接网络

• 4.5 提前终止

  • 通过截止训练防止过拟合，如下图所示

    

 

• 4.6 随机池化

  • 池化的意义

    

  • 两种常见池化的特点最大池化

    • 能够学习到图像边缘和纹理结构
    • 均值池化
      可以减小估计均值的偏移，提升模型的鲁棒性

  • 随机池化