深度学习记录--Adam optimization algorithm

Adam优化算法

momentum和RMSprop的结合

初始化参数:

V_{dw}=0,V_{db}=0,S_{dw}=0,S_{db}=0

先进行momentum过程:

V_{dw}=\beta1 V_{dw}+(1-\beta1)dw

V_{db}=\beta1 V_{db}+(1-\beta1)db

然后进行RMSprop过程:

S_{dw}=\beta2 S_{dw}+(1-\beta2)(dw)^2

S_{db}=\beta2 S_{db}+(1-\beta2)(db)^2

接着进行偏差修正

V_{dw}^{corrected}=V_{dw}/(1-\beta1^t),V_{db}^{corrected}=V_{db}/(1-\beta1^t)

S_{dw}^{corrected}=S_{dw}/(1-\beta2^t),S_{db}^{corrected}=S_{db}/(1-\beta2^t)

最后更新权重

w:=V_{dw}^{corrected}/\sqrt{S_{dw}^{corrected}}+\varepsilon

b:=V_{db}^{corrected}/\sqrt{S_{db}^{corrected}}+\varepsilon

 

超参数的设置

一般地,学习率\alpha需要经过多次调试之后才可得到

其他超参数一般设置为:

\beta1=0.9, \beta2=0.999, \varepsilon=10^{-8}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值