滑动平均模型tf.train.ExponentialMovingAverage(v1, stpe)

滑动平均模型
在采用随机梯度下降算法训练神经网络时候，使用滑动平均模型可以在一定的程度上提高最终的模型在测试数据上的表现

Tensorflow中使用函数提供了下面的函数

>>> tf.train.ExponentialMovingAverage(v1,step)
% v1： variable. step =控制下降的速度
% shadow_variable = decay * shadow_variable + (1 - decay) * variable
% shadow_variable 为影子变量，variable为待更新的变量


% decay = min {decay， (1+step)/(10+step)}：设置动态decay快速更新variable
>>> v1 = tf.Varibele(0, dtype = tf.float32)
>>> step = tf.Variable(0, trainable = False)
>>> ema = tf.train.ExponentialMovingAverage(0.99, step)
>>> maintain_average_op = ema.apply([v1])
>>> with tf.Session() as sess:
        init_op = tf.initialize_all_variable()
        sess.run(init_op)
        print(sess.run([v1, ema.average(v1)])
% 输出：[0.0,  0.0]
        sess.run(tf.assign(v1, 5))
        sess.run(maintain_averages_op)
        print sess.run([v1, ema.average(v1)])
% 输出：[5.0, 4.5]