华为云课堂-AI技术领域课程-深度学习-学习笔记0716第五章

目录

第五章 优化器

优化器的目的（示意图）

梯度下降的几类方法

全局梯度下降法

随机梯度下降法

小批量梯度下降

为解决小批量的收敛性问题，引入动量

动量梯度下降公式

传统动量优化器的改进（蓝色传统）

常见优化器

Adagrad：

Adadelta：

RMSprop：

Adam

如何选择优化器

---

本文来自华为云课堂，侵权速删。

• 第五章 优化器

  • 优化器的目的（示意图）

    • 

    • 梯度下降的几类方法

      • 全局梯度下降法

        

        
        计算速度慢，不适合投入新的数据

      • 随机梯度下降法

        

        
        每个样例都需要更新权值，受噪声影响较大，可能跳过最优解

      • 小批量梯度下降

        

        
        结合以上两个方法，收敛慢，会陷入局部极小和鞍点

    • 为解决小批量的收敛性问题，引入动量

      • 动量梯度下降公式

        

      • 传统动量优化器的改进（蓝色传统）

        

    • 常见优化器

      • Adagrad：

      • 对低频作较大更新，对高频作较小更新

      • Adadelta：

      • 解决学习率问题，训练中后期速度更快

      • RMSprop：

      • 保证各个维度数据在一个量级，减少摆动

        

      • Adam

        

    • 如何选择优化器