深入解析TensorFlow中滑动平均模型与代码实现

滑动平均模型与代码实现

import tensorflow as tf
import numpy as np

# 定义变量及滑动平均类

# 定义一个32位浮点变量，初始值为0.0  这个代码就是不断更新w1参数，优化w1参数，滑动平均做了>个weight 的影子

Global_step = tf.Variable(0, trainable=False)
w1 = tf.Variable(0, dtype=tf.float32)
MOVING_AVERAGE_DECAY = 0.99  # 滑动衰减率
# 定义了一个滑动平均衰减类, 初始化给了滑动平均衰减率0.99和  控制衰减的变量0
ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, Global_step)

# 3、用tf.trainable_variable()获取所有可以训练的变量列表，也就是所有的w和b
# 全部指定为使用滑动平均模型
ema_op = ema.apply(tf.trainable_variables())

init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    # 通过 ema.average(w1) 获取滑动平均后的w1 的值
    sess.run(ema_op)
    # 求滑动平均值  衰减率=min{0.99, (1 + global_step) / (10 + global_step)} = 0.1
    # (1 + global_step) / (10 + global_step) 是 偏差修正
    # w1 = 衰减率 * 滑动平均值 + (1 - 衰减率) * 当前参数值
    # w1 = 0.1 * 0 + (1 - 0.1) * 0=0
    print('w1: ', sess.run(w1), 'huadong:', sess.run(ema.average(w1)))

    # 将 w1 赋值 3
    sess.run(tf.assign(w1, 3))
    sess.run(ema_op)
    # 求滑动平均值  衰减率=min{0.99, (1 + Global_step) / (10 + Global_step} = 0.1
    # (1 + global_step) / (10 + global_step) 是 偏差修正
    # w1 = 衰减率 * 滑动平均值 + (1 - 衰减率) * 当前参数值
    # w1 = 0.1 * 0 + (1 - 0.1) * 3 = 2.7
    print('w1: ', sess.run(w1), 'huadong:', sess.run(ema.average(w1)))

    # 将 Global_step 赋值 1000
    sess.run(tf.assign(Global_step, 1000))
    sess.run(ema_op)
    # 求滑动平均值  衰减率=min{0.99, (1 + Global_step) / (10 + Global_step} = 0.99
    # (1 + global_step) / (10 + global_step) 是 偏差修正
    # w1 = 衰减率 * 滑动平均值 + (1 - 衰减率) * 当前参数值
    # w1 = 0.99 * 2.7 + (1 - 0.99) * 3 = 2.703
    print('w1: ', sess.run(w1), 'huadong:', sess.run(ema.average(w1)))