EMA和自动混合精度（AMP）

已于 2022-02-16 18:31:02 修改
阅读量771 收藏 1
点赞数
分类专栏： CV笔记 文章标签： pytorch 深度学习 transformer
于 2022-02-16 18:26:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx_xjm/article/details/122966411
版权
本文介绍了两种用于优化深度学习模型训练的技术：指数移动平均(EMA)和自动混合精度(AMP)。EMA通过平滑权重更新来提升模型稳定性，而AMP则利用FP16精度加速训练过程，同时通过GradScaler确保数值稳定性。这两个技术能够有效提高模型训练效率和性能。
摘要由CSDN通过智能技术生成

EMA:指数移动平均，用于优化权重更新

参考自：https://blog.csdn.net/Newt_Scamander/article/details/122268929

AMP：自动混合精度，用于加快模型训练，其思想在于使得模型处理数据的时候，自动控制数据在torch.FloatTensor和torch.HalfTensor之间变换。

涉及到AMP有两个函数需要注意：

1：torch.cuda.amp.autocast：自动将数据从FP32转化为FP16，一般只用于前向传播。

2：torch.cuda.amp.GradScaler

参考自：https://blog.csdn.net/ytusdc/article/details/122152244

              https://blog.csdn.net/djfjkj52/article/details/114963916

             https://www.cnblogs.com/jimchen1218/p/14315008.html

xx_xjm
关注
专栏目录
YOLOv5系列(二十三) 本文(2.5万字) | 自动混合精度AMP | 指数移动平均EMA | Test Time Augmentation(TTA) |
weixin_44302770的博客
12-27 595
默认情况下，大多数深度学习框架都采用32位浮点算法进行训练。２０１７年，NVIDIA研究了一种用于混合精度训练的方法，该方法在训练网络时将单精度（FP32）与半精度(FP16)结合在一起，并使用相同的超参数实现了与FP32几乎相同的精度。在介绍AMP之前，先来理解下FP16与FP32，FP16也即半精度是一种计算机使用的二进制浮点数据类型，使用2字节存储。而FLOAT就是FP32。其中，sign位表示正负，exponent位表示指数。
PyTorch基于Apex的混合精度加速
jacke121的专栏
11-26 3752
安装：pip install apex 参考：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/100135729 在这篇文章里，笔者会详解一下混合精度计算（Mixed Precision），并介绍一款 NVIDIA 开发的基于 PyTorch 的混合精度训练加速神器——Apex，最近 Apex 更新了 API，可以用短短三行...
Pytorch中的Exponential Moving Average（EMA）
chen_znn的博客
06-30 2929
学习记录之pytorch的EMA
模型训练相关
qq_37435458的博客
03-03 343
【EMA : Exponential Moving Average】 cnblogs：https://www.cnblogs.com/wuliytTaotao/p/9479958.html 代码：https://www.shangmayuan.com/a/92d49ecf09aa4a079817bc4c.html 1. 用滑动平均估计局部均值 滑动平均(exponential moving average)，或者叫做指数加权平均(exponentially weighted moving average)，
EMA-Pytorch: 加速你的Pytorch模型训练与优化
最新发布
gitblog_00603的博客
08-16 773
EMA-Pytorch: 加速你的Pytorch模型训练与优化 ema-pytorchA simple way to keep track of an Exponential Moving Average (EMA) version of your pytorch model项目地址:https://gitcode.com/gh_mirrors/em/ema-pytorch 项目介绍 EMA-P...
pytorch代码实现注意力机制之EMA
热门推荐
DM_zx的博客
09-06 1万+
注意力机制之EMA
配置基于Torch的深度学习系统环境
wl0909的博客
05-30 764
1、安装torch，最终结果是能使用th命令。官网：http://torch.ch/docs/getting-started.html2、linux安装hdf5，为系统安装hdf5参考链接：https://jingyan.baidu.com/article/cbcede077e1ebe02f40b4d1e.html官方下载链接：https://support.hdfgroup.org/HDF5/r...
常用训练tricks，提升你模型的鲁棒性
qq_42714262的博客
03-05 1712
聊一些算法比赛常用的tricks
SupCon-Framework:使用AMP，EMA，SWA和许多其他技巧实施有监督的对比学习
05-23
自动混合精度（火炬版）训练，以便能够以更大的批次大小进行训练（大约为2倍）。 LabelSmoothing损失和的第二阶段训练（FC）。 TensorBoard日志，检查点 支持和 安装 克隆仓库： git clone ...
PyTorch必备神器 | 唯快不破：基于Apex的混合精度加速
Paper weekly
08-28 1万+
作者丨Nicolas单位丨追一科技AI Lab研究员研究方向丨信息抽取、机器阅读理解你想获得双倍训练速度的快感吗？你想让你的显卡内存瞬间翻倍吗？如果告诉你只需要三行代...
if __name__ == '__main__': #创建保存模型的文件夹 file_dir = 'checkpoints/InternImage/' if os.path.exists(file_dir): print('true') os.makedirs(file_dir,exist_ok=True) else: os.makedirs(file_dir) # 设置全局参数 model_lr = 1e-4 BATCH_SIZE = 16 EPOCHS = 300 DEVICE = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') use_amp = True # 是否使用混合精度 use_dp = True #是否开启dp方式的多卡训练 classes = 12 resume =None CLIP_GRAD = 5.0 Best_ACC = 0 #记录最高得分 use_ema=True model_ema_decay=0.9998 start_epoch=1 seed=1 seed_everything(seed)帮忙解释一下这些代码
05-10
`use_amp = True` 定义了是否使用混合精度训练，即同时使用 float16 和 float32，可以提高训练速度和内存利用率。 `use_dp = True` 定义了是否使用 PyTorch 分布式训练，即使用多个 GPU 进行并行训练。 `classes =...
已用于项目，模型训练Tricks——EMA权重滑动平均
Maple__Boy
02-20 618
EMA训练tricks
【半监督学习】1、Mean Teacher | 对 student model 权重进行 EMA 来加速更新 teacher model
呆呆的猫的博客
03-17 2862
本文主要介绍半监督模型 Mean Teacher
深度学习中EMA的使用场景
暗焰之珩的博客
03-25 9074
在复习《Tensorflow实战Google深度学习框架（第2版）》一书的第5章，第97页时，遇到了一个问题。EMA，大家都知道，指数滑动平均，好处在于1.平滑数据、2.可以存储近似n个时刻的平均值，而不用在内存中保留n个时刻的历史数据，减少了内存消耗。但是，EMA在深度学习中的使用场景是什么？参与了训练过程还是测试过程？哪些场景不需要使用ema？ 什么是EMA ...
【高效炼丹】指数移动平均（EMA）：深度学习中的神器
luxu1220的博客
05-09 5876
EMA的本质是对历史数据进行加权平均，其中每个数据点的权重随着它距离当前时间点的远近而不断减小。这样做的好处是可以有效地平滑时间序列数据，使其更加连续和稳定。 在深度学习中，EMA被广泛应用于优化器的更新、模型参数的平均等方面，可以帮助提高模型的性能和泛化能力。同时，由于EMA的计算方式简单且易于实现，因此也是深度学习中常用的技巧之一。
【深度学习】关于EMA：指数移动平均
aixiaomi123的博客
03-27 2481
指数移动平均(exponential moving average)，也叫做权重移动平均(weighted moving average)，可以用来估计变量的局部均值，使得变量的更新与一段时间内的历史取值有关。它的意义在于利用滑动平均的参数来提高模型在测试数据上的健壮性。
指数移动平均EMA以及Pytorch实现
如果想成为中心，那么就到中心去吧。
07-28 2096
EMA的定义 在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。 深度学习中的EMA 上面讲的是广义的ema定义和计算方法，特别的，在深度学习的优化过程中，θt 是t时刻的模型权重weights，vt是t时刻的影子权重（shadow weights）。在梯度下降的过程中，会一直
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值