吴恩达深度学习笔记(44)-RMSprop

RMSprop是一种优化算法,旨在加速梯度下降过程。它通过计算梯度的平方的指数加权平均数(S_dW和S_db),在参数更新时除以这些值的平方根,从而调整不同方向的学习速率。这使得在参数空间中摆动较大的方向(如b方向)学习速率减小,而推进方向(如W方向)的学习速率增大。RMSprop有助于提高学习效率,允许使用更大学习率而不失稳定性,并首次在Jeff Hinton的Coursera课程中被提出。
摘要由CSDN通过智能技术生成

RMSprop
你们知道了动量(Momentum)可以加快梯度下降,还有一个叫做RMSprop的算法,全称是root mean square prop算法,它也可以加速梯度下降,我们来看看它是如何运作的。

吴恩达深度学习笔记(44)-RMSprop
回忆一下我们之前的例子,如果你执行梯度下降,虽然横轴方向正在推进,但纵轴方向会有大幅度摆动,为了分析这个例子,假设纵轴代表参数b,横轴代表参数W,可能有W_1,W_2或者其它重要的参数,为了便于理解,被称为b和W。

所以,你想减缓b方向的学习,即纵轴方向,同时加快,至少不是减缓横轴方向的学习,RMSprop算法可以实现这一点。

吴恩达深度学习笔记(44)-RMSprop
在第t次迭代中,该算法会照常计算当下mini-batch的微分dW,db,所以我会保留这个指数加权平均数,我们用到新符号S_dW,而不是v_dW,因此S_dW=βS_dW+(1-β)dW2,澄清一下,这个平方的操作是针对这一整个符号的,这样做能够保留微

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值