指数加权平均EWA

定义

来自维基百科

指数移动平均（exponential moving average，EMA或EWMA）是以指数式递减加权的移动平均。各数值的加权影响力随时间而指数式递减，越近期的数据加权影响力越重，但较旧的数据也给予一定的加权值

设时刻$t$的实际数值为${\theta }_t$, 时刻$t$的EMA为$v_t$,时刻$t-1$的EMA为$v_{t-1}$，计算时刻$t\ge 2$的指数加权平均公式为：

$v_t=\beta v_{t-1}+(1-\beta ){\theta }_t$

$\beta$ 是可调节的参数，处于0-1之间，一般大于0.5

推导

一般情况下计算截至时刻$t$的平均值：

${\mathrm{s}}_{\mathrm{t}}=\frac{{\theta }_1+{\theta }_2+\dots +{\theta }_{\mathrm{t}}}{\mathrm{t}}$

$v_t$是如何表示指数加权移动平均值的呢？

假设$\beta =0.9$ ，$v_0=0$

$v_t=0.9v_{t-1}+0.1{\theta }_t$

$v_{t-1}=0.9v_{t-2}+0.1{\theta }_{t-1}$

$v_{t-2}=0.9v_{t-3}+0.1{\theta }_{t-1}$
$...$
$v_1=0.9v_0+0.1{\theta }_1$

逐层向上代入：

$v_t=0.1\ast ({\theta }_t+0.9\ast {\theta }_{t-1}+0.9^2{\theta }_{t-2}+...+0.9^{t-1}{\theta }_1)$

这里$v_t$实际上是对时刻$t$之前(包括$t$)实际数值的加权平均,时间越近,权重越大,而且是指数式的，所以叫做指数加权平均。

意义

与一般的加权平均相比，使用指数加权平均的好处在于：

• 不需要保存前面所有时刻的实际数值，并且在计算$v_t$的过程中是逐步覆盖的，因此可以减少内存的占用
• 在有些场景下，其实更符合实际情况的，例如股票价格，天气等，上一个时间步对当前时间步影响最大

偏差修正

当假设$v_0=0$时，刚开始的几个时间步的$v_t$的数值是非常小的，因为缺乏足够多的前面时刻的数据。

$v_1=0.1{\theta }_1$
$v_2=0.1\ast 0.9\ast {\theta }_1+0.1{\theta }_2$

与$t=1$, $t=2$的平均值$s_1$,$s_2$相差非常大，因此需要加入偏差修正项，使得：

$v_t=\frac{v_t}{1-{\beta }^t}$

随着时间步$t$增大,修正项$1-{\beta }^t$趋近于0

参考

1. 吴恩达深度学习课程（改善深层神经网络：超参数调试、正则化以及优化小节）
2. 维基百科定义