前言
最近在学习网易云课堂上学习吴恩达的deeplearning课程。在深度学习优化算法中,涉及到指数加权平均算法,这里做一个总结。
问题引入
加权平均数
假如我们现在有365天的温度,要求这365天的平均温度值。
Vaver=(θ1+θ2+θ3+...+θ365)÷365 V a v e r = ( θ 1 + θ 2 + θ 3 + . . . + θ 365 ) ÷ 365
指数加权平均是一种近似求平均的方法。
指数加权平均
vt=βvt−1+(1−β)θt v t = β v t − 1 + ( 1 − β ) θ t
- vt v t :代表的是最近的 11−β