weixin_42677618的博客

转载 指数移动平均（EMA）的原理及PyTorch实现

在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。 EMA的定义 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。 假设我们有n个数据：  普通的平均数： EMA：  ，其中， ...