lesson18 滑动平均值

https://www.bilibili.com/video/av22530538/?p=18

 

#lesson18  滑动平均值
#
#滑动平均（影子值）：记录了每个参数一段时间内过往值的平均，增加了模型的泛化性。
#针对所有参数：w和b（像是给参数加了影子，参数变化，影子缓慢追随。）
#影子=衰减率*影子 +（1-衰减率）*参数       影子初值=参数初值
#衰减率 = min「MOVING_AVERAGE_DECAY. 1+轮数/10+轮数」

#MOVING_AVERAGE_DECAY为0.99，参数w1为0，轮数global_step为0，w1的滑动平均值为0
#参数w1更新为1则：
#w1滑动平均值=min（0.99,1/10）*0+(1-min(0.99,1/10)*1)=0.9
#轮数global_step为100时，参数w1更新为10测：
#w1滑动平均值=min(0.99,101/110)*0.9+(1-min(0.99,101/110)*10)=0.826+0.818=1.644
#再次运行
#w1滑动平均值=min(0.99,101/110)*1.644+(1-min(0.99,191/110)*10)=2.328
#再次运行
#w1滑动平均值=2.956

#ema = tf.train.ExponentialMovingAverage(
#衰减率MOVING_AVERAGE_DECAY,
#当前轮数global_step)
#ema_op=ema.apply([])
#ema_op = ema.apply(tf.trainale_variables())

#
#with if.control_dependencies([train_step,ema_op]):
#    train_op = tf.no_op(name='train')
#ema.average(参数名)  查看某参数的滑动平均值

import tensorflow as tf

#1定义变量及滑动平均类
#定义一个32位浮点变量，初始化值位0.0 这个代码就是不断更新w1参数，优化w1参数
#滑动平均做类个w1的影子
w1 = tf.Variable(0,dtype=tf.float32)
#定义num——updates（NN的迭代轮数global_step）
global_step = tf.Variable(0, trainable=False)
MOVING_AVERAGE_DECAY = 0.99

ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)
#ema.apply后的是更新列表，每次运行sess.run(ema_op)时，对更新列表中
#的元素求滑动平均均值
#在实际应用中会使用tf/trainable_variables()自动将所有待训练的参数汇总位列表
#ema_op = ema.apply([w1])
ema_op = ema.apply(tf.trainable_variables())

#2查看不同迭代中变量取值的变化。
with tf.Session() as sess:
    #初始化
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    #用ema.average(w1)获取w1滑动平均值（要运行多个节点，作为列表中的元素列出
    #写在sess.run中）
    print(sess.run([w1, ema.average(w1)]))
    #参数w1的值赋位1
    sess.run(tf.assign(w1, 1))
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)]))   
    
    #更新step和w1的值，模拟出100轮迭代后，参数w1变位10
    sess.run(tf.assign(global_step, 100))
    sess.run(tf.assign(w1, 10))
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)]))  
    #每次sess.run会更新一次w1的滑动平均值
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)])) 
    
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)])) 
    
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)])) 
    
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)])) 
    
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)])) 
    
    sess.run(ema_op)
    print(sess.run([w1, ema.average(w1)])) 
#更改MOVING_AVERAGE_DECAY为0.1 看影子追随速度

结果：
[0.0, 0.0]
[1.0, 0.9]
[10.0, 1.6445453]
[10.0, 2.3281732]
[10.0, 2.955868]
[10.0, 3.532206]
[10.0, 4.061389]
[10.0, 4.547275]
[10.0, 4.9934072]