神经网络优化的步骤以及常用的神经网络优化器

最新推荐文章于 2024-04-27 22:54:56 发布

永不言败_never say never

最新推荐文章于 2024-04-27 22:54:56 发布

阅读量508

点赞数

分类专栏：优化器 tensorflow 文章标签：神经网络 tensorflow

本文链接：https://blog.csdn.net/weixin_45187794/article/details/108101498

版权

tensorflow 同时被 2 个专栏收录

10 篇文章 0 订阅

订阅专栏

优化器

1 篇文章 0 订阅

订阅专栏

优化神经网络相关的参数：
w表示待优化参数，loss表示损失函数，lr表示学习率，batch表示每次迭代的数据，t表示当前batch迭代的总次数：
神经网络参数优化的步骤：
1、计算t时刻损失函数关于当前梯度gt=▽loss=2、计算t时刻一阶动量mt和二阶动量vt3、计算t时刻下降梯度：ηt=lr*mt/4、计算t+1时刻参数：Wt+1=Wt-ηt=Wt-lr*mt/

一阶动量：与梯度相关的函数
二阶动量：与梯度平方相关的函数
常用的优化器：
（1）SDG（Stochastic gradient descent）：随机梯度下降
没有动量
mt=gt Vt=1 ηt=lr*mt/=lr*gtwt+1=wt-ηt=wt-lr*mt/=Wt-lr*gtwt+1=wt-

(2）SGDM（含momentum的Stochastic gradient descent），在SGD基础上增加一阶动量。
mt=β*mt-1+（1-β）*gt vt=1（二阶动量恒vt等于1）Mt表示了各时刻梯度方向的指数滑动平均值。β是一个超参数，是一个接近于 1的值。ηt=lr*mt/=lr*mt=lr*(β*mt-1+(1-β)*gt)Wt+1=wt-ηt=wt-lr*(β*mt-1+(1-β)*gt)

(3)Adagrad,在SGD基础上增加二阶动量
Mt=gtVt=2ηt=lr*mt/()=lr*gt/2Wt+1=wt-gt=wt-lr*gt/

（4）RMSProp,在SGD基础上增加二阶动量
mt=gtVt=β*Vt-1+(1-β)*gt²(二阶动量v使用指数滑动平均值计算，表示过去一段时间的平均值)ηt=lr*mt//lr*gt/Wt+1=wt-ηt=wt-lr*gt/

(5)Adam同时结合SGDM一阶动量和RMSProp二阶动量
在这里插入图片描述

永不言败_never say never

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
神经网络优化的步骤以及常用的神经网络优化器

优化神经网络相关的参数：w表示待优化参数，loss表示损失函数，lr表示学习率，batch表示每次迭代的数据，t表示当前batch迭代的总次数：神经网络参数优化的步骤：1、计算t时刻损失函数关于当前梯度gt=▽loss=2、计算t时刻一阶动量mt和二阶动量vt3、计算t时刻下降梯度：ηt=lrmt/4、计算t+1时刻参数：Wt+1=Wt-ηt=Wt-lrmt/一阶动量：与梯度相关的函数二阶动量：与梯度平方相关的函数常用的优化器：（1）SDG（Stochastic gradient des
复制链接

扫一扫

专栏目录