tf.train.ExponentialMovingAverage用法和说明

在这篇博客中对tf.train.ExponentialMovingAverage讲的很清楚，这里主要补充几点说明：
第一点：

当程序执行到 ema_op = ema.apply([w]) 的时候，如果 w 是 Variable， 那么将会用 w 的初始值初始化 ema 中关于 w 的 ema_value，所以 emaVal0=1.0。如果 w 是 Tensor的话，将会用 0.0 初始化。

这段话的意思是：因为w初始化为1.0, 对它进行衰减操作，因为在下面循环三次，每次update后，w的实际值分别为2.0,3.0,4.0。
而由于衰减公式为：shadowVariable=decay∗shadowVariable+(1−decay)∗variable，
在第一次衰减w的时候，shadowVariable并不存在，所以shadowVariable取的值为w的初始值，因为w = tf.Variable(1.0)，所以w的初始值为1.0,所以ema_val第一次输出的值为0.9*1+0.1*2=1.1。
第二点：
如果对tf.identity和tf.control_dependencies有疑问的话可以参考我上篇博客：tf.identity 和 tf.control_dependencies的用法。

---

此外具体例子还可以参考这篇博客，对参数进行了详解。
其中参数trainable=False，代表在训练中这个变量不会被改变，可以通过手动对它改变。
decay=min{decay,(1+num_updates)/(10+num_updates)}
另外当设置了num_updates，则decay会进行上式的运算，其中min函数的第二项会随着num_updates增大而增大，所以当其大到一定程度，decay就始终是初始值（假如是初始值为0.99），这样就不会随着num_updates增大，导致其接近1而使变量不在衰减。

还可以再看一下：https://www.cnblogs.com/cloud-ken/p/7521609.html
对函数作用都有讲解。