【TensorFlow】TensorFlow函数精讲之tf.train.ExponentialMovingAverage()

tf.train.ExponentialMovingAverage来实现滑动平均模型。

---

格式：

tf.train.ExponentialMovingAverage（decay，num_step）

参数说明：

第一个参数：decay，衰减率，一般设置接近1的数。

第二个参数：num_step，动态设置decay的大小。

---

tf.train.ExponentialMovingAverage使用步骤：

1. 定义一个滑动平均的类，初始化衰减率（接近1）和控制衰减变量的step：ema = tf.train.ExponentialMovingAverage(0.99, step)
2. 定义一个更新变量滑动平均的操作：maintain_average_op = ema.apply([变量]) 
3. 获取滑动平均之后的取值：通过ema.average(变量)

---

简单例子说明函数的用法：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf

# 定义一个变量用于计算滑动平均，这个变量的初始值为0，注意这里手动指定了变量的类型为float32，因为所需要计算滑动平均的变量必须是实数型
v1 = tf.Variable(0, dtype=tf.float32)
# 这里step变量模拟神经网络函数中迭代的轮数，可以用于动态控制衰减率
step = tf.Variable(0, trainable=False)

# 定义一个滑动平均的类，初始化时给定衰减率（0.99）和控制衰减变量的step
ema = tf.train.ExponentialMovingAverage(0.99, step)
# 定义一个更新变量滑动平均的操作。这里需要给定一个列表，每次执行这个操作时这个列表中的变量都会更新
maintain_average_op = ema.apply([v1])

with tf.Session() as sess:
    # 初始化所有变量
    init_op = tf.global_variables_initializer()
    sess.run(init_op)

    # 通过ema.average(v1)来获取滑动平均之后变量的取值。在初始化之后变量v1的值和v1的滑动平均都为0
    print(sess.run([v1, ema.average(v1)]))  # 输出[0.0, 0.0]

    # 更新变量v1的值到5
    sess.run(tf.assign(v1, 10))
    # 更新vl的值。衰减率为min{0.99 ,(l+step)/(lO+step)= 0.1)=0.l
    # 所以vl的滑动平均会被更新为0.1×0+0.9×5=4.5。
    sess.run(maintain_average_op)
    print(sess.run([v1, ema.average(v1)]))  # 输出[10.0, 9.0]

输出为：

[0.0, 0.0]
[10.0, 9.0]