adam优化器

最新推荐文章于 2024-04-24 12:01:25 发布

酷的稀里糊涂

最新推荐文章于 2024-04-24 12:01:25 发布

阅读量164

点赞数

文章标签：人工智能 python 性能优化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_70579950/article/details/129748982

版权

计算t时刻损失函数关于当前参数的梯度 $gt$ = ${\color{Red} }$ ${loss}'$ 对参数的偏导
计算t时刻一阶动量 $mt$ 和二阶动量 $vt$
计算t时刻下降梯度 $\eta t=lr*mt/\sqrt{vt}$
计算t+1时刻参数 $wt+1=wt-\eta t=wt-lr*mt/\sqrt{vt}$

adam优化器

$mt=\beta1 *mt-1+(1-\beta1 )*gt$ 修正项 $\barwedge mt =mt/(1-\beta 1*\beta 1)$

$vt=\beta 2*vt-1+(1-\beta 2)*gt*gt$ 修正项 $\barwedge vt=vt/(1-\beta 2*\beta 2)$

sgd优化器

$mt=gt$

$vt=1$

sgdm优化器

$mt=\beta *mt-1+(1-\beta )gt$

vt=1

adagrad优化器

$mt=gt$

$vt=\sum gt*gt$ 此为开始到结束梯度平方的累计和

rmsprop优化器

$mt=gt$

$vt=\beta *vt-1+(1-\beta )gt*gt$

酷的稀里糊涂

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
adam优化器

本文简单介绍各类优化器更新参数模型是目标更容易达到
复制链接

扫一扫

酷的稀里糊涂 CSDN认证博客专家 CSDN认证企业博客

码龄2年

2: 原创

160万+: 周排名

164万+: 总排名

776: 访问

: 等级

27: 积分

2: 粉丝

4: 获赞

2: 评论

7: 收藏

私信

关注

热门文章

最新评论

全连接神经网络
美的一塌糊涂:
全连接神经网络
CSDN-Ada助手: 不知道 Python入门技能树是否可以帮到你：https://edu.csdn.net/skill/python?utm_source=AI_act_python

最新文章

全连接神经网络

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。