[算法]滑动平均模型简介

• 滑动平均模型，一般用于提升模型在测试集上的准确率。需要指定一个更新比率decay，一般会指定为比较大的一个值，比如0.996这种，同时会维护一个影子变量shadow，模型中的每个参数都会有一个与之对应的影子变量，这个变量在模型训练的时候，不会对模型的训练产生任何影响，即和没有影子变量的情况是一样的。但是每一轮训练，这个影子变量shadow的值都会进行更新，更新公式就是shadow = decay * shadow + (1 - decay) * variable 其中variable就是参数，而shadow变量的初始化的值就是对应的配对的变量的初始值。
• 在训练的时候，只是不断的更新这个值：可以看到，随着训练步数的不断加大，variable是变化的，decay变量也会随着训练迭代的增加而变化：一般decay = (1+steps)/(10+steps)由于这两个变量的变化，所以shadow值会随着迭代数量的增加而不断变化，可以发现，如果decay值越接近1的话，则这个shadow值也就基本不变了（因为1-decay就会变成一个非常小的数值）。
• 真正使用这个变量是在利用模型来进行预测的时候，此时模型计算中的每个参数不再使用前面模型训练出来的参数。而是使用这个影子变量来代替原来的参数。根据测试，这种方法可以有效提升模型在测试集上的准确率这个就是滑动平均模型。