Tensorflow中ExponentialMovingAverage的原理及用法

最新推荐文章于 2023-06-30 19:34:13 发布
最新推荐文章于 2023-06-30 19:34:13 发布
阅读量9.3k 收藏 25
点赞数 8
分类专栏： 深度学习 文章标签： 深度学习 tensorflow ExponentialMovingAverage 滑动平均 原理 tf.control_dependencies()
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kuweicai/article/details/80517284
版权
本文介绍了Tensorflow中ExponentialMovingAverage的原理及其在深度学习中的应用，阐述了滑动平均如何提高模型在测试时的健壮性，并通过实际例子展示了如何在训练过程中使用和恢复模型的滑动平均参数。
摘要由CSDN通过智能技术生成

整理自以下两篇博客：

1）. tensorflow ExponentialMovingAverage

2）. Tensorflow深度学习之九：滑动平均模型

 

一. 滑动平均的作用ExponentialMovingAverage（）

滑动平均模型的作用是提高测试值上的健壮性。那它是如何实现这个功能的呢？其实滑动平均模型的原理就是一阶滞后滤波法，其表达式如下： 

new_value=(1−a)×value+a×old_valuenew_value=(1−a)×value+a×old_value

 

其中a的取值范围[0,1]，具体就是：本次滤波结果=(1-a)本次采样值+a上次滤波结果，采用此算法的目的是： 
1、降低周期性的干扰； 

2、在波动频率较高的场合有很好的效果。

 

二. Tensorflow中的ExponentialMovingAverage()

 

假如我们训练模型迭代了100K，每2K步保存一个snapshot。在evaluation时， 我们可以只使用最后得到的model-100K，也可以通过cross validation选出一最佳的model，如model-98K。 但Googlers发现(https://www.tensorflow.org/versions/r1.0/api_docs/python/tf/train/ExponentialMovingAverage)：

When training a model, it is often beneficial<

最低0.47元/天 解锁文章
kuweicai
关注
  • 8
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
深度强化学习系列(16): 从DPG到DDPG算法的原理讲解及tensorflow代码实现
深度强化学习(DeepRL)探索博客
05-22 1万+
Atari 游戏所需的动作是离散的，且属于低维（只有少数几个动作），但现实生活中很多问题都是连续的，且维度比较高，比如机器人控制（多个自由度)等。虽然可以对连续性高维度的动作做离散型的处理，但是对于一个经过离散处理的大状态空间，使用DQN训练仍然是仍然是一个比较棘手的问题，因为DQN算法的核心思想是利用随机策略进行探索，对于高维度的来说，第一个问题是：模型很难收敛，第二个问题是需要在探索和利用之间进行协调
深度学习之指数移动平均模型(EMA)介绍
最新发布
yueguang8的博客
06-03 2811
指数移动平均模型（Exponential Moving Average Model，EMA）是一种用于平滑时间序列数据的技术。它通过对数据进行加权平均来减少噪音和波动，从而提取出数据的趋势。 在深度学习中，EMA 常常用于模型的参数更新和优化过程中。它可以帮助模型在训练过程中更稳定地收敛，并提高模型的泛化能力。
Tensorflow ExponentialMovingAverage 详解
Harry的博客
04-03 268
tensorflow 中的 ExponentialMovingAverage 这时，再看官方文档中的公式: shadowVariable=decay∗shadowVariable+(1−decay)∗variable shadowVariable=decay∗shadowVariable+(1−decay)∗variable shadowVariable=decay∗shadowVariable+...
tensorflow 滑动平均模型 ExponentialMovingAverage
tz_zs的博客
07-21 8696
____tz_zs学习笔记 滑动平均模型对于采用GradientDescent或Momentum训练的神经网络的表现都有一定程度上的提升。 原理：在训练神经网络时，不断保持和更新每个参数的滑动平均值，在验证和测试时，参数的值使用其滑动平均值，能有效提高神经网络的准确率。 tf.train.ExponentialMovingAverage tensorflow官网地址：h
Tensorflow框架 —— tf.ExponentalMovingAverage()
DAOCHI
06-14 351
关于该函数，官方给出以下说明： When training a model, it is often beneficial to maintain moving averages of the trained parametes. Evaluations that use averaged parameters sometimes produce significantly better results than the final trained values. 也即是说，当测试模型的时候， 使用参数
ExponentialMovingAverage
qq_27016651的博客
12-06 931
   
TensorFlow中关于saver读取中MovingAverage的一些注意事项
Hide_on_code的博客
04-02 647
saver中保存滑动平均模型中，当我们直接定义一个滑动平均类的操作后，会自动生成变量列表中所对应的shaddow variables, 具体细节代码如下：#part 1 v = tf.Variable(0, dtype=tf.float32, name="v") #创建滑动平均的类，给定初始衰减率0.5 ema = tf.train.ExponentialMovingAverage(0.5) ...
TensorFlow实现批量归一化操作的示例
09-17
为了使均值和方差更加稳定，可以采用指数加权移动平均的方法，即使用 `tf.train.ExponentialMovingAverage()` 来更新均值和方差。 ##### 2.3 使用示例 使用 TensorFlow 实现批量归一化的一个简单示例如下： ```...
tensorflow 数据归一化_TensorFlow——批量归一化操作
weixin_39827775的博客
12-21 1000
批量归一化在对神经网络的优化方法中，有一种使用十分广泛的方法——批量归一化，使得神经网络的识别准确度得到了极大的提升。在网络的前向计算过程中，当输出的数据不再同一分布时，可能会使得loss的值非常大，使得网络无法进行计算。产生梯度爆炸的原因是因为网络的内部协变量转移，即正向传播的不同层参数会将反向训练计算时参照的数据样本分布改变。批量归一化的目的，就是要最大限度地保证每次的正向传播输出在同一分布上...
使用TensorFlow做CIFAR-10 Dataset的图片分类（全代码及解析）（适合初学者）
EvilicLufas的博客
09-03 1346
实验之前我们必须声明一点，普通的全连接 BP 网络跑一下 CIFAR-10 也是 有比较好的结果的，只是 CNN会有更好的收敛速度和更高一些的精确度。 这里说的 CIFAR-10 是由 Geoffrey Hinton 和他的两个学生 Alex Krizhevsky、 Ilya Sutskever 所收集的一个用于普适物体识别的数据集，也叫作 CIFAR-10 Dataset。 CIFAR 是加拿大...
EMA指数滑动平均（Exponential Moving Average）
得克特
03-08 7995
指数滑动平均（Exponential Moving Average） 指数滑动平均也叫权重移动平均（Weighted Moving Average）,是一种给予近期数据更高权重的平均方法。 假设有nnn个权重数据：[θ1,θ2,⋯ ,θn][\theta_1,\theta_2,\cdots,\theta_n][θ1​,θ2​,⋯,θn​]，EMA的计算公式： vt=βvt−1+(1−β)θt(1) v_t=\beta v_{t-1}+(1-\beta)\theta_t\tag{1} vt​=βvt−1​+(
ModelEMA——滑动平均
Newt_Scamander的博客
01-01 4692
class ModelEMA: """ Model Exponential Moving Average from https://github.com/rwightman/pytorch-image-models Keep a moving average of everything in the model state_dict (parameters and buffers). This is intended to allow functionality like h
理解滑动平均(exponential moving average)
upwind_fly的博客
07-10 8692
1. 用滑动平均估计局部均值 　　滑动平均(exponential moving average)，或者叫做指数加权平均(exponentially weighted moving average)，可以用来估计变量的局部均值，使得变量的更新与一段时间内的历史取值有关。 　　变量vv在tt时刻记为vtvt，θtθt为变量vv在tt时刻的取值，即在不使用滑动平均模型时vt=θtvt=θt，在使用滑动平均模型后，vtvt的更新公式如下： vt=β⋅vt−1+(1−β)⋅θt(1)(1...
【炼丹技巧】指数移动平均（EMA）
热门推荐
MOL
12-25 1万+
在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以提高测试指标并增加模型鲁棒。 EMA的定义 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。 ...
Pytorch中的Exponential Moving Average（EMA）
chen_znn的博客
06-30 2803
学习记录之pytorch的EMA
tf.train.exponentialmovingaverage
08-20
tf.train.exponentialmovingaverage是TensorFlow中的一个函数，用于实现指数移动平均。它可以用于模型参数的平滑处理，使得模型更加稳定和鲁棒。在训练过程中，每次更新模型参数时，指数移动平均会根据设定的衰减率对参数进行平滑处理，从而得到平滑后的参数值。这样可以减少模型参数的抖动，提高模型的泛化能力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值