滑动平均模型

在tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型，在初始化时，提供一个衰减率decay，

新的值=decay*初始值+（1-decay）*更新的值

decay决定了模型更新的速度，越大越慢。为了使模型在训练前期更新得快，每次的衰减率可以是min(decay,(1+step)/(10+step)}

ema=tf.train.ExponentialMovingAverage(decay,step）

sess.run(ema.apply(Variable))

sess.run(ema.average(v1))

import tensorflow as tf
#定义一个变量用于计算滑动平均，这个变量的初始值是0，注意这里手动指定了变量的而类型为tf.float32，因为所有需要计算滑动平均的变量必须是实数
v1=tf.Variable(0,dtype=tf.float32)
#step变量模拟神经网络中的迭代的轮数，可以用于动态控制衰减率
step=tf.Variable(0,trainable=False)
#定义一个滑动平均类（class)，初始化时给定了衰减率（0.99）和控制衰减率的变量step,
ema=tf.train.ExponentialMovingAverage(0.99,step)
#定义一个更新变量滑动平均的操作，这里需要给定一个列表，每次执行这个操作时，这个列表的变量都会被更新
maintain_averages_op=ema.apply([v1])
with tf.Session() as sess:
    #初始化所有变量
    init_op=tf.initialize_all_variables()
    sess.run(init_op)
    #通过ema.average(v1)获取滑动平均之后变量的取值，在初始化之后变量v1的值和v1的滑动平均都为0
    print(sess.run([v1,ema.average((v1))]))#输出[0.0，0.0]
    #更新变量v1的值到5
    sess.run(tf.assign(v1,5))
    #更新v1的滑动平均值，衰减率为min(0.99,(1+step)/(10+step)=0.1)=0.1
    #所以v1的滑动平均会更新到0.1*0+0.9*5=4.5
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))
    #更新step的值为10000
    sess.run(tf.assign(step,10000))
    sess.run(tf.assign(v1,10))
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))
    sess.run(maintain_averages_op)
    print(sess.run([v1,ema.average(v1)]))