指数加权平均的公式很简单，下面几行就可以表示：
v 0 = 0 ; v_0=0; v0=0;
v 1 = β v 0 + ( 1 − β ) θ 1 ; v_1=βv_0+\left(1-β \right)θ_1; v1=βv0+(1−β)θ1;
v 2 = β v 1 + ( 1 − β ) θ 2 ; v_2=βv_1+\left(1-β \right)θ_2; v2=βv1+(1−β)θ2;
… … ; ……; ……;
v n = β v ( n − 1 ) + ( 1 − β ) θ n ; v_n=βv_{\left(n-1 \right)}+\left(1-β \right)θ_n; vn=βv(n−1)+(1−β)θn;
其中 v n v_n vn是我们计算得到的估计值，而 θ n θ_n θn是我们样本数据中的实际值， β β β是一个加权参数，介于0、1之间，在实际使用时常取0.9
所谓指数加权平均用于对一串数据取平均值，而这个平均值并不是简单的 v 0 + v 1 + … … + v n n + 1 \frac{v_0+v_1+……+v_n}{n+1} n+1v0+v1+……+vn,而是对每个 v n v_n
指数加权平均|吴恩达深度学习专项课程第二课第二周
最新推荐文章于 2022-09-06 14:24:07 发布
指数加权平均是一种对数据取平均的方法，它为每个数据点赋予不同的权重，权重以指数形式递减。在深度学习中，β常设为0.9，通过逐步迭代，实际值θn对估计值vn的影响逐渐累积。当β=0.9时，vn大约考虑了最近10个数据点；β=0.98时，则考虑了约50个数据点。理解指数加权平均有助于掌握Adam和Momentum等优化算法。
最低0.47元/天 解锁文章
920
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
