指数加权平均

指数加权平均: 一个计算移动平均数快速有效的方法，

被运用在多种机器学习优化算法中。

公式:

 

上面的红色线是对蓝色样本点应用指数加权平均获得的，可以看到这条红线较好的拟合了数据集，将较多噪点去除。

 

以B为0.9为例将v100按照公式展开：

这也是这个算法叫为指数加权平均的原因，用矩阵表示vt

[1-,0.1*0.91,0.1*0.92…………,0.1*0.9t-1]*[thetat,……..theta1]T

 

 

Vt是前t个数据的加权平均值。

但是对于离Vt较远的数据，从展开式可以看到离vt较远的权值（以指数形式减小）会变得很小，以至忽略不计。

所以一般来说会将vt看作1/1-B个包括自己在内的样本加权平均

例如B=0.9，vt为自己与前9个数据点的加权平均值，前第十个点的权重为0.1*0.9 10可以忽略。

 

指数加权平均对于v0较小的图像的近似是有问题的

假设v0 = 0

假设b=0.9 v1 = 0.1theta1 + 0.9*v0 = 0.1 theta1

V2 = 0.1theta2 + 0.1*0.9theta1 = 0.1 theta2 + 0.09theta1

所以对于指数加权平均初始的值需要添加权重补偿

Vt = vt/1-bt vt是没有补偿时的vt值

当t很大是1-bt会接近于零补偿消失

 

个人网站 WaveDeng-Make Some Waves