2020-6-2 吴恩达-改善深层NN-w2 优化算法(2.5 指数加权平均的偏差修正--让初始时期预测更加准确)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

2.5 指数加权平均的偏差修正 Bias correction in exponentially weighted average

上2节课学习了如何计算指数加权平均数，其中提到了一个技术名词叫做偏差修正。它可以让平均数运算更加准确，本节课我们来看看它是怎么运行的。

上图在前面已经介绍过。

• 红色曲线是在$\beta =0.9$情况下加权平均
• 绿色曲线是在$\beta =0.98$情况下加权平均

但是，如果把$\beta =0.98$代入上图中的公式$v_t=\beta v_{t_1}+(1-\beta ){\theta }_t$，那么得到的会是上图中紫色的曲线。注意：紫色曲线的(左侧)起点较低。

我们来看看这是怎么回事情。

计算移动平均数的时候，初始化$v_0=0$，$v_1=0.98v_0+0.02{\theta }_1=0.02{\theta }_1$。
如果第一天温度是华氏40度${\theta }_1=40$，那么$v_1=8$，得到的值会小很多，所以第一天温度的估测不准。

$v_2=0.98v_1+0.02{\theta }_2=0.98x0.02{\theta }_1+0.02{\theta }_2=0.0196{\theta }_1+0.02{\theta }_2$。，假设${\theta }_1$和${\theta }_2$都是正数，计算$v_2$后要远小于${\theta }_1$和${\theta }_2$，所以$v_2$不能很好估测出第一天和第二天的温度。

有个办法可以修改这一估测，让估测变得更好，更准确，特别是在估测初期。
办法就是不使用公式$v_t=\beta v_{t_1}+(1-\beta ){\theta }_t$，改用$\frac{v_t}{1-{\beta }^t}$。

例如：第二天$t=2$，$\frac{v_2}{1-{\beta }^2}=\frac{0.0196{\theta }_1+0.02{\theta }_2}{1-0.98^2}=\frac{0.0196{\theta }_1+0.02{\theta }_2}{0.0396}$

其实，上面公式的本质就是${\theta }_1$和${\theta }_2$的加权平均数，并去除了偏差。

观察上图，你会发现

• 在开始学习阶段，你才开始预测热身练习，偏差修正可以帮助你更好预测温度，结果从紫线变成绿线。
• 随着$t$增加，${\beta }^t$接近于0，所以当$t$很大的时候，偏差修正几乎没有作用，此时紫线基本和绿线重合了。

ML中，在计算指数加权平均数的大部分时候，大家不在乎执行偏差修正，因为大部分人宁愿熬过初始时期，拿到具有偏差的估测，然后继续计算下去。如果你关心初始时期的偏差，在刚开始计算指数加权移动平均数的时候，偏差修正能帮助你在早期获取更好的估测。