深度学习编程笔记：Tensorflow2.1基础知识---神经网络参数优化器

最新推荐文章于 2022-07-24 11:23:50 发布

还好江南

最新推荐文章于 2022-07-24 11:23:50 发布

阅读量238

点赞数

分类专栏：深度学习编程笔记文章标签：算法神经网络深度学习人工智能 python

本文链接：https://blog.csdn.net/weixin_42503072/article/details/105365174

版权

什么是优化器？
优化器，就是神经网络进行反向传播的时候，用于更新参数的策略，也就是梯度下降的算法。
优化器更新参数的步骤（4步）：
a. 计算t时刻损失函数关于当前参数的梯度：g_t= ∆loss= ∂loss/(∂(w_t))
b. 计算t时刻一阶动量m_t 和二阶动量V_t （一阶动量：与梯度相关的函数二阶动量：与梯度平方相关的函数）
c. 计算t时刻下降梯度：μ_t=lr∗ m_t⁄√(V_t )
d. 计算t+1时刻参数：w_(t+1)= w_t− μ_t= w_t−lr∗ m_t⁄√(V_t )
优化器的种类（不同优化器就是一阶动量和二阶动量的定义不同）：
a. SGD（Stochastic Gradient Descent）(无momentum)最常用的梯度下降算法

b. SGDM(含momentum的SGD)，在SGD基础上增加一阶动量

c. Adagrad，在SGD的基础上增加二阶动量

关注