吴恩达深度学习笔记(41)-深度解析指数加权平均数

本文深入解析指数加权平均数的概念及其在优化算法中的应用,特别是其在训练神经网络中的作用。通过实例展示了不同β值对指数加权平均数的影响,并讨论了如何计算平均温度。此外,文章还探讨了指数加权平均数在实际操作中的高效性和内存利用率。
摘要由CSDN通过智能技术生成

理解指数加权平均数(Understanding exponentially weighted averages)
上个笔记中,我们讲到了指数加权平均数,这是几个优化算法中的关键一环,而这几个优化算法能帮助你训练神经网络。本笔记中,我希望进一步探讨算法的本质作用。

回忆一下这个计算指数加权平均数的关键方程。

v_t=βv_(t-1)+(1-β)θ_t

比如β=0.9的时候,得到的结果是红线,如果它更接近于1,

比如β=0.98,结果就是绿线,如果β小一点,如果是0.5,结果就是黄线。

吴恩达深度学习笔记(41)-深度解析指数加权平均数
我们进一步地分析,来理解如何计算出每日温度的平均值。

同样的公式,v_t=βv_(t-1)+(1-β)θ_t

使β=0.9,写下相应的几个公式,所以在执行的时候,t从0到1到2到3,t的值在不断增加,为了更好地分析,我写的时候使得t的值不断减小,然后继续往下写。

吴恩达深度学习笔记(41)-深度解析指数加权平均数
首先看第一个公式,理解v_100是什么?我们调换一下这两项(0.9v_99 0.1θ_100),v_100=0.1θ_100+0.9v_99。

那么v_99是什么?我们就代入这个公式(v_99=0.1θ_99+0.9v_98)

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值