滑动平均_10分钟详解EMA（滑动平均）并解决EMA下ckpt权重与pb权重表现不一问题...

最新推荐文章于 2023-11-12 16:05:05 发布

weixin_39737764

最新推荐文章于 2023-11-12 16:05:05 发布

阅读量485

点赞数

文章标签：滑动平均

本文链接：https://blog.csdn.net/weixin_39737764/article/details/111700013

版权

今天用YunYang的evaluate.py评估模型的时候，意外发现用同样的ckpt权重文件转换而成的pb文件效果不一样，使用ckpt的效果非常差，仔细研究后才发现是滑动平均(EMA)搞的鬼，于是便重新重温了一下EMA。

EMA（ExponentialMovingAverage），也就是我们常说的滑动平均模型，一般在采用SGD（随机梯度下降）训练的时候，都会用他来提高我们在测试数据的表现，我们从[1]结合tensorflow提供的api来说一下他的定义：
Tensorflow提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage时，需要提供一个衰减率(decay)。这个衰减率将用于控制模型更新的速度，这个第二部分会告诉大家是怎么控制的。ExponentialMovingAverage对每一个变量会维护一个影子变量（shadow variable），顾名思义，这个影子变量的初始值就是相应变量的初始值，

关注