深度学习记录--RMSprop均方根

RMSprop(root mean square prop)

减缓纵轴方向学习速度,加快横轴方向学习速度,从而加速梯度下降

方法:

S_{dw}=\beta2 S_{dw}+(1-\beta2)(dw)^2

S_{db}=\beta2 S_{db}+(1-\beta2)(db)^2

w:=w-\alpha \frac{dw}{\sqrt{S_{dw}}+\varepsilon }

b:=b-\alpha \frac{db}{\sqrt{S_{db}}+\varepsilon }

\varepsilon =10^{-8}

原理:

不妨以b为纵轴,w为横轴(横纵轴可能会不同,因为是多维量)

为了让w梯度下降更快,则要使S_dw尽量小,即w每次减去一个大数字,所以w梯度下降更快

为了让b梯度下降更慢,则要使S_db尽量大,即b每次减去一个小数字,所以b梯度下降更慢

为了防止分母趋近于0,则加上一个常量\varepsilon,一般设置\varepsilon =10^{-8}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值