MindSpore【GPU环境】跑大模型提示内存不足

最新推荐文章于 2023-11-02 11:05:56 发布
最新推荐文章于 2023-11-02 11:05:56 发布
阅读量604 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xi_xiyu/article/details/127610985
版权

MindSpore GPU环境 3090

【操作步骤&问题现象】

加载模型进行推理，图像分辨率在224时可以跑通，384时回报设备内存不足

下图为报错的两个模型规格：

【日志信息】

1. 在修改输入图像大小后model的输入大小是否也进行了改变

2. 是否同时运行两个或多个网络造成系统资源不足

3. 是否尝试过减小batch_size

xiao | yang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Keras设定GPU使用内存大小方式(Tensorflow backend)
09-16
通过这些方法，我们可以有效地管理GPU内存，防止在训练过程中因内存不足而导致的问题。同时，根据实际需求调整`gpu_fraction`的值，可以在保证模型训练速度的同时，避免资源浪费。 值得注意的是，虽然限制GPU内存...
面向大数据复杂应用的GPU协同计算模型
04-30
GPU异构集群在大数据分析处理中得到广泛应用，然而缺少研究GPU异构集群在大数据分析中的计算模型。多核CPU与GPU协同计算时不仅增加了计算资源的密度，而且提高节点间和节点内的通信复杂度。为了从理论上研究GPU与...
mindspore出现memory is not enough!
weixin_45666880的博客
08-30 549
在训练过程中，进行到更新参数这一步时，出现memory is not enough，我使用的是24G的RTX 3090显卡来训练，能帮忙看一下是我代码的问题吗？还是纯粹的内存问题？
mindspore训练一段时间后，报内存不够错误
weixin_45666880的博客
07-04 421
问题描述：tep几次后，报内存不足的问题，降低batch size训练次数增多，但还是内存不足，应该是我代码的问题。也根据相关帖子检查了，还是没有搞定，我上传了训练的部分日志（在附件log.txt中），麻烦大佬们帮忙看一下问题。解答：你好，训练过程中，可以打开另一个窗口 通过命令查看下，是否显卡已经用满了，例如通过命令`nvidia-smi` 可以查看当前用了多少显存，如果已经用满了，建议参考上面的帖子，排查下为何用了这么多的显存， 并尝试参考里面的方法进行优化下：- 如何处理GPU训练显存不足[memor
mindspore使用过程中Malloc for kernel output failed, Memory isn‘t enough
weixin_45666880的博客
06-30 327
问题描述：报错信息： 报错代码： 具体描述： 在标红那行代码的前两行代码都执行过报错处的代码，但是均顺利执行，但运行到标红处的时候，调用 get_time_embdding_A函数执行到报错代码处，就出现了报错信息中的错误，这种情况是怎么回事呢？又该如何解决呢？解答：将batch size设得更小...
神经网络学习----训练模型过程中的内存不足错误
小明的博客
02-06 4886
如果你的计算机GPU很差（比如我的就很差很差），在训练模型时你会发现刚开始训练正常，但后面就会报下图的错误。 错误：numpy.core._exceptions.MemoryError: Unable to allocate 4.12 MiB for an array with shape (600, 600, 3) and data type float32 该错误是内存不足导致训练不能继续，我的bathsize==1了已经，但还是不行。真不知道这么垃圾的电脑怎么做神经网络。 ...
大模型部署-基于Java+多GPU实现LLaMA2推理部署-附项目源码-优质项目实战.zip
最新发布
05-25
本文将深入探讨如何使用Java编程语言结合多GPU环境来部署LLaMA2大模型，同时提供了一个优质的实战项目源码，帮助开发者理解和实践这一技术。 首先，LLaMA2（Large Language Model with Multimodal Abilities 2）是...
解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题
09-16
主要介绍了解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
BUG-2 cuda out of memory 3090都内存不足！！
qq_32730973的博客
09-12 1434
问题描述： 在跑实验训练时有时候会因为加载的东西过多而爆显存 出现 CUDA out of memory. 我的3090都吃不消？ 解决方案： 1、Batch_size 设置过大问题，直接降低batch_size，常见设置16、32、64。。我的64时候爆了 2、此外，常见在求loss时候报错，这时候定位到loss位置，加上如下代码，使用torch.cuda.empty_cache()删除一些不需要的变量代码，释放内存 optimizer.zero_grad() @释
MindSpore GPU训练过程中，gpu使用率无限增大，导致内存不足，中止训练
weixin_45666880的博客
07-28 939
exportGLOG_v=1打开info级别日志，搜索“CompileGraphgraph_id”字样，看下是否存在多图场景，如果是单图，那就是正常的显存不足报错提示。输入图像大小是512*512，batchsize=1，主要问题是内存在刚开始占用很小，慢慢变大，然后内存不足。使用nvidia-smi命令，查看GPU有没有运行多个进程，是否存在其他进程消耗显存的情况。初步看就是编译阶段的显存不足，编译阶段显存消耗是逐渐上升的。GPU-TITAN显存12G，训练的网络是VGG16....
显存不够用？一种大模型加载时节约一半显存的方法
weixin_45794268的博客
04-18 1146
上述创建，模型占用 显存, x是指模型的大小 有些时候我们把模型保存到本地硬盘中 之后需要用到之前保存的模型（两倍显存消耗） 我们需要两倍的显存来加载我们之前存储过的权重 如果我们有一个巨大的模型，这是有问题的，因为我们需要两倍的空闲RAM。例如，假设我们有16GB的RAM，而我们的模型使用10GB。加载它需要20GB，我们需要改变我们的策略。 Recently, PyTorch introduced the device. When you put a tensor to the meta de
GPU显存不足，报错：RuntimeError: CUDA out of memory.
booklijian的专栏
02-04 3457
笔者近日利用pytorch框架对图像采用Resnet50模型提取特征的时候，利用到了GPU，发现报错如下： RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch) 该程序运行所用GPU为1080TI
【MindSpore产品】【多卡GPU训练功能】参数应该怎么设置
weixin_45666880的博客
08-30 259
2、如果可以的话，参数应该怎么设置，主要是 RANK_TABLE_FILE 参数，提供的hccl配置文件链接失效。1、基于ViT的codebase进行代码修改，想在GPU环境多卡训练，请问。这个VIT 暂不支持多GPU训练，详细的使用指导就是。MindSpore模型代码，多GPU训练。这个代码库可以多GPU训练吗？...
【MindSpore Dataset】在使用Dataset处理数据过程中内存占用高，怎么优化？
weixin_45666880的博客
02-20 374
【MindSpore Dataset】在使用Dataset处理数据过程中内存占用高，怎么优化？针对一些资源（CPU和Memory）比较紧张的环境，在进行数据预处理时会出现CPU占用过高，或者内存占用高的情况。
神经网络 测试的时候，Gpu内存不够了，咋整呢？？？？
szlloveCSDN的博客
08-18 934
解决方法：由于xxx.pth是在GPU上训练出来的，所以在使用cpu加载时就要从GPU映射到cpu上，即在torch.load（“xxx.pth”）中添加"map_location=torch.device(“cpu”)"即可，也就是最终改为：torch.load（“xxx.pth”，map_location=torch.device(“cpu”)）,程序就可以正常运行了。这是由于你使用的是在GPU上训练出的模型参数，但是在cpu上测试时并没有将该模型参数映射到cpu上。...
GPU设备算力不足导致计算结果错误[cublasGemmEx failed]
Kenji_Shinji的博客
09-28 872
在mindspore-1.6版本之后，mindspore对使用者的GPU显卡进行了算力识别，如使用者的GPU算力小于5.3，会有相应的日志提醒。由于是算力由硬件设备决定，暂无法通过软件方式规避，因此直接的解决方式是升级显卡设备。或者使用CPU设备进行mindspore的使用。一般是因为当前使用的GPU设备算力不够引起。当前mindspore限制显卡算力为最低5.3，显卡算力的可在Nivida官网查询。按照官网正确安装mindspore 以及cuda驱动和库文件后，运行。
关于外部动态加载大量模型贴图导致内存不足的解决方法。
wxn_455570548的博客
08-23 274
关于外部动态加载大量模型和贴图导致内存不足的解决方法
大模型训练时的内存泄漏与显存不足
ReadyShowShow的博客
11-02 690
常见内存泄漏
用GPU去跑代码，跑到一半显示内存不够
05-18
3. 使用更大内存的GPU：如果你的GPU内存不足，你可以考虑升级到更大内存的GPU，这将提高模型的处理能力。 4. 分布式训练：使用多个GPU同时训练模型，每个GPU只处理部分数据，从而减少内存占用。 5. 内存优化：使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值