tf.train.ExponentionalMovingAverge()滑动平均模型的用法

在tensorflow中提供的tf.train.ExponentionalMovingAverage()里实现滑动平均模型，提供的衰减率decay会控制模型衰减速度，ExponentionalMovingAverage（）对每一个变量会维护一个影子变量（shadow variable），这个影子变量的初始值就是相应变量的初始值，而每次更新时，影子变量的值会更新为：shadow_variable=decay*shadow+(1-decay)*variable,每次使用的衰减率将是：
min{decay,1+num_update/10+num_update}
代码解释：

import tensorflow as tf
v1=tf.Variable(0,dtype=tf.float32)
step=tf.Variable(0,trainable=False)
ema=tf.train.ExponentialMovingAverage(0.99,step)
maintain_average_op=ema.apply([v1])
with tf.Session() as sess:
    init_op=tf.global_variables_initializer()
    sess.run(init_op)
    print(sess.run([v1,ema.average(v1)]))
    #通过ema.average(v1)获取滑动平均之后的变量的取值。在初始化之后变量v1的值和v1的滑动平均都为0
    #更新v1的值到5
    sess.run(tf.assign(v1,5))
    sess.run(maintain_average_op)
    print(sess.run([v1,ema.average(v1)]))
    #更新step的值为1000
    sess.run(tf.assign(step,1000))
    #更新v1的值为10
    sess.run(tf.assign(v1,10))
    #更新v1的滑动平均值，衰减率wemin{0.99,(1+step)/(10+step)}=0.99
    #所以v1的滑动平均会根性为0.99*4.5+0.01×10=4.555
    sess.run(maintain_average_op)
    print(sess.run([v1,ema.average(v1)]))
    #再次更新滑动平均值，得到新的滑动平均值灰变为0.99×4.555+0.0.×10=4.6
    sess.run(maintain_average_op)
    print(sess.run([v1,ema.average(v1)]))

输出结果如下：

[0.0, 0.0]
[5.0, 4.5]
[10.0, 4.555]
[10.0, 4.60945]