TensorFlow笔记之神经网络优化——滑动平均

1. 滑动平均：记录了一段时间内模型中所有参数 w 和 b 各自的平均值。利用滑动平均可以增强模型的泛化能力。
   滑动平均值（影子）计算公式： 影子 = 衰减率 * 影子 + （1 - 衰减率）*参数，其中，衰减率 = ，影子初值 = 参数初值
   用TensorFlow函数表示为：
   
   √ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY， global_step)，其中，MOVIN_AVERAGE_DECAY表示滑动平均衰减率，一般会赋值为接近1的值，global_step表示当前训练了多少轮。
   √ema_op = ema.apply(tf.trainable_variables())，其中， ema.apply()函数实现对括号内参数求滑动平均， tf.trainable_variables()函数实现把所有
   待训练参数汇总为列表。
   查看模型中参数的平均值，可以用 ema.average()函数
2. 实例：在神经网络模型中，将 MOVING_AVERAGE_DECAY 设置为 0.99，参数 w1 设置为 0， w1 的滑动平均值设
   置为 0。
    

   #coding:utf-8
   import tensorflow as tf
   
   #1. 定义变量及滑动平均类
   #定义一个32位浮点变量，初始值为0.