在模型进行inference的时候爆显存

最新推荐文章于 2024-09-17 16:52:57 发布
最新推荐文章于 2024-09-17 16:52:57 发布
阅读量221 收藏 2
点赞数
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45571006/article/details/134112782
版权

之前以为model.eval()就可以停止计算梯度，但事实上model.eval()貌似只有禁用BatchNormalization和Dropout的功能。

在代码中加入torch.set_grad_enabled(False)后显存就够用了

wsmbzd
关注
Pytorch的model.train() & model.eval() & torch.no_grad() & 为什么测试的时候不调用loss.backward()计算梯度还要关闭梯度
hxxjxw的博客
08-01 2539
使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval model.train() 启用 BatchNormalization 和 Dropout model.eval() 不启用 BatchNormalization 和 Dropout 训练完train_datasets之后，model要来测试样本了。在model(test_datasets)之前，需要加上model.eval(). 否则的话，有输入数据，即使不训练，它也会改变权值。这是model...
训练模型时候显存爆炸的一种可能性以及解决办法
qq_38331273的博客
04-29 3084
转载：https://wstchhwp.blog.csdn.net/article/details/108405102 模型训练的时候，爆显存了，可以调整batch，对数据进行crop等等操作。 今天发现一个模型，训练ok，每次测试的时候爆显存。开始以为是因为用了全图（1920x1080略大）进行inference，这是一方面。但后来发现忘了用with torch.no_grad():这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。加了之后，用了不过3G显存就够了。确实inference不
深度学习——SAM(Segment-Anything)代码详解
一世纤华的博客
03-13 4576
当为true的时候会返回3个mask，对于模棱两可的prompt比如一个点，多输出可以比单单输出产生更高质量的Mask,如果只有一个mask是被需要的，可以通过quality score 来筛选mask,对于非模棱两可的输入，比如多个prompt，将multmask_output设置为false可以得到更好的结果return_logits。这个文件包含三层的封装,最外层是sam_model_registry，它提供了统一的接口，用来选择vit_h,vit_l,vit_b,默认使用vit_h。
pytorch做inference的时候如何减少显存占用
nkhgl的博客
09-27 2097
1、采用with torch.no_grad(): with torch.no_grad(): tc_data = netG_A(input_data, d_f) 相比于直接做inference，加上with torch.no_grad()能够占用更少的显存。即使设置了netG_A.eval(),占用显存和没设置时是一样的。难道eval()模式也还会保留中间梯度？ tc_data = netG_A(input_data, d_f) 2、删除中间变量： with torch.no_gr
LLM 大语言模型显存消耗估计与计算
weixin_42823298的博客
07-24 1347
这个工具的计算的结果，针对代码加入到Transformers中的模型，计算结果有参考价值。针对本地模型，计算可能会不准确。这个工具可以做什么？如何使用？此工具如何设置？什么情况下需要设置？处理来自第三方的自定义配置Timm是什么？是huggingface的开发库，主要面向图像处理模型此工具的计算值与实际运行时的差异有多大？造成差异的原因有那些？本文使用Wanda方法，已在Github上开源**源码：**https://github.com/locuslab/wanda环境配置。
【DL】浅谈模型Inference优化
weixin_30481087的博客
08-17 760
最近又被一周一更的flag打脸，一是拉来了外援助阵专栏（以后会越来越多的！），二是自己想探索新的故事线（比如NLP+CV的任务），三是工作太忙（懒）。最近开始接触BERT Inference的优化，这篇文章主要总结一下知识点1. 简介Inference提速的重要性就不必说了，目前主流的优化方式有以下几种：分布式计算（CPU）：将底层的矩阵运算并行化混合精度（GPU）：理论上INT8优化可提升4倍、...
【大模型实战篇】大模型显存资源计算以及GPU如何选择
源泉的小广场
09-05 1345
大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署
LLM推理框架Triton Inference Server学习笔记(二): Triton模型部署流程(stey by stey)
Miracle8070
04-14 2125
上一篇文章对triton inference server进行了一个整体的介绍，解答了三个经典问题what, why, how。这篇文章就开始转入实践， 从实践的角度整理Triton模型部署的全流程， 如果我有一个训练好的模型了，究竟如何部署到triton server，并提供服务给到客户端， 客户端发请求之后，怎么把数据推理得到结果等。这篇文章， 会对这些问题做出解答。Triton模型部署概览模型仓库准备模型配置文件编写Triton Server启动TritonServer客户端访问。
【大模型】text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比
m0_51538830的博客
08-28 4441
text-generation-inference TGI项目加速推理的量化实现与使用GPTQ量化实现的对比
详谈大模型训练和推理优化技术
夏栀的博客
05-19 1万+
本文介绍大模型的训练和推理优化技术，包括混合精度训练、分布式训练DeepSpeed、INT8模型量化、参数有效性学习、混合专家训练、梯度检查点、梯度累积、Flash Attention等。
LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
04-25 9万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
使用YOLOv5模型进行目标检测！
Datawhale
07-02 1万+
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：陈信达，华北电力大学，Datawhale成员目标检测是计算机...
Paddle Inference推理部署
吴建明wujianming_110117
06-07 2049
Paddle Inference推理部署 飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台，已被中国企业广泛使用，深度契合企业应用需求，拥有活跃的开发者社区生态。提供丰富的官方支持模型集合，并推出全类型的高性能部署和集成方案供开发者使用。 技术优势 • 开发便捷的深度学习框架 飞桨深度学习框架基于编程一致的深度学习计算抽象以及对应的前后端设计，拥有易学易用的前端编程界面和统一高效的内部核心架构，对普通开发者而言更容易上手并具备领先的训练性能
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1358
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 1884
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
最新发布
专注MarTech应用研究与实施方案
09-17 875
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
数据爬虫中遇到验证码的解决方法
sheji888的专栏
09-17 1363
数据爬虫中遇到验证码是一个复杂而常见的问题，需要综合考虑多种因素并采取合适的解决策略。通过避免触发验证码、手动输入验证码、使用验证码识别技术、绕过验证码机制以及采用分布式爬虫和代理IP等方法，可以在一定程度上提高爬虫的稳定性和效率。然而，需要注意的是，爬虫的使用必须遵守相关法律法规和网站爬虫协议的要求，确保数据抓取活动的合法性和合规性。
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 1184
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
调用网络模型进行图片识别如何降低显卡内存
05-23
降低显卡内存有以下几种方法： 1. 使用较小的批次大小（batch size），减少每次迭代需要存储的数据量，但同时也会影响模型的训练效果。 2. 降低输入图像的分辨率，这样可以减少每个图像需要的内存大小。 3. 使用模型压缩技术，如剪枝（pruning）、量化（quantization）等方法，减少模型中冗余参数的数量，从而减小模型大小和内存占用。 4. 使用分布式训练，将数据和计算分布到多个GPU或服务器上，可以减少单个设备的内存占用。 5. 使用混合精度训练技术，将模型参数使用低精度表示，可以显著减少内存占用。 需要注意的是，以上方法虽然可以降低显卡内存占用，但也可能会影响模型的训练效果和识别精度。因此，需要根据具体情况选择合适的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值