指数加权平均算法

前言

最近在学习网易云课堂上学习吴恩达的deeplearning课程。在深度学习优化算法中,涉及到指数加权平均算法,这里做一个总结。

问题引入

加权平均数

假如我们现在有365天的温度,要求这365天的平均温度值。

$V_{aver} = (\theta_1 + \theta_2 + \theta_{3} + ... + \theta_{365}) \div 365$
指数加权平均是一种近似求平均的方法。

指数加权平均

$v_{t} = \beta v_{t-1} + (1-\beta) \theta_{t}$
- $v_{t}$ :代表的是最近的 11−β