Deep learning II - II Optimization algorithms - Exponentially weighted averages 指数加权平均

Exponentially weighted averages 指数加权平均

---

指数加权平均指的是通过综合当前点之前的数据和该点数据，通过调整加权值，来得到需要的值的技术。

$$V_t = \beta V_{t-1} + (1-\beta)\theta_t$$

• 当$\beta$接近于1时（0.98），当前点的值$V_t$更加依赖于之前的数值$V_{t-1}$而不是$\theta_t$，因此曲线会更光滑，并产生延迟（如绿色曲线）
• 当$\beta$远小于1时，当前点的值$V_t$更加依赖于$\theta_t$而不是之前的数值$V_{t-1}$，因此曲线会震荡的厉害，接近于原图像（如黄色曲线）
• 上述公式可以看成是$V_t$是其之前$\frac{1}{1-\beta} days$的均值（当$\beta = 0.9$时，通过展开式$V_{100} = 0.1\theta_{100} + 0.1\times 0.9\theta_{99} +0.1\times 0.9^{2}\theta_{98} + 0.1\times 0.9^{3}\theta_{97} + \cdots + 0.1\times 0.9^{99}\theta_{1}$，当$\beta^x \approx \frac{1}{e}$时，认为到了临界值。所以当$\beta = 0.98$时，相当于50天的均值。

• 当使用上述公式$V_t = \beta V_{t-1} + (1-\beta)\theta_t$时，我们得到曲线并不是与绿色曲线完全一样，会得到如下图紫色曲线。为了消除这种变差，可以使用$\frac{V_t}{1-\beta^t}$代替$V_t$。