MindSpore【GPU环境】跑大模型提示内存不足

最新推荐文章于 2024-08-02 13:23:39 发布

xiao | yang

最新推荐文章于 2024-08-02 13:23:39 发布

阅读量693

点赞数

分类专栏：深度学习文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/xi_xiyu/article/details/127610985

版权

深度学习专栏收录该内容

128 篇文章 2 订阅

订阅专栏

MindSpore GPU环境 3090

【操作步骤&问题现象】

加载模型进行推理，图像分辨率在224时可以跑通，384时回报设备内存不足

下图为报错的两个模型规格：

【日志信息】

1. 在修改输入图像大小后model的输入大小是否也进行了改变

2. 是否同时运行两个或多个网络造成系统资源不足

3. 是否尝试过减小batch_size

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xiao | yang

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

51-1 多模态大模型的概念、核心技术以及评测

AIgraphX

10-19

1283

Foundation Models对智能体基本认知能力有巨大的推动作用，当然大模型资源消耗极大，需要进一步去解决。

华为昇腾Ascend系列之06 昇腾NPU模型训练，PyTorch的模型迁移与训练流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改（教程含源码Ascend 910、Ascend 910B

iCloudEnd的博客

06-03

607

本文提供了一个简单的模型迁移样例，采用了最简单的自动迁移方法，帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改，使其可以迁移到昇腾NPU上进行训练。

参与评论您还未登录，请先登录后发表或查看评论

mindspore出现memory is not enough!

weixin_45666880的博客

08-30

652

在训练过程中，进行到更新参数这一步时，出现memory is not enough，我使用的是24G的RTX 3090显卡来训练，能帮忙看一下是我代码的问题吗？还是纯粹的内存问题？

mindspore训练一段时间后，报内存不够错误

weixin_45666880的博客

07-04

498

问题描述：tep几次后，报内存不足的问题，降低batch size训练次数增多，但还是内存不足，应该是我代码的问题。也根据相关帖子检查了，还是没有搞定，我上传了训练的部分日志（在附件log.txt中），麻烦大佬们帮忙看一下问题。解答：你好，训练过程中，可以打开另一个窗口通过命令查看下，是否显卡已经用满了，例如通过命令`nvidia-smi` 可以查看当前用了多少显存，如果已经用满了，建议参考上面的帖子，排查下为何用了这么多的显存，并尝试参考里面的方法进行优化下：- 如何处理GPU训练显存不足[memor

mindspore使用过程中Malloc for kernel output failed, Memory isn‘t enough

weixin_45666880的博客

06-30

396

问题描述：报错信息：报错代码：具体描述：在标红那行代码的前两行代码都执行过报错处的代码，但是均顺利执行，但运行到标红处的时候，调用 get_time_embdding_A函数执行到报错代码处，就出现了报错信息中的错误，这种情况是怎么回事呢？又该如何解决呢？解答：将batch size设得更小...

MindSpore数据增强后，内存不足，自动退出

skytttttt9394的博客

07-16

245

batch算子会实时监控内存占用率，mindspore在1.6.版本之前，内存占用率达到0.95时会告警退出。目前在minspore==1.6.0后版本已对该阈值进行更新，在内存占用超过0.8时会进行告警，用户可在发现内存不足之后及时进行处理。”，根据警告提示定位到是由于内存不足导致程序退出。用户在使用mindspore框架进行大数据训练时，需要多注意内存占用率，防止内存占用过高导致直接退出。当出现内存占用警告提示时，应该减少per_batch_map里面的内存占用。...

mindspore详解

fishmai的专栏

09-17

1547

由于积累时间短，MindSpore当前在算子支持方面还是相对薄弱的，MindSpore内置的静态的算子库可能无法满足用户的需求，之前版本的MindSpore的自定义算子功能也存在着平台覆盖不到位，开发过程繁琐及第三方算子接入困难的问题。

大模型之大模型技术生态

热门推荐

zh515858237的专栏

01-10

2万+

LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。

神经网络学习----训练模型过程中的内存不足错误

小明的博客

02-06

4982

如果你的计算机GPU很差（比如我的就很差很差），在训练模型时你会发现刚开始训练正常，但后面就会报下图的错误。错误：numpy.core._exceptions.MemoryError: Unable to allocate 4.12 MiB for an array with shape (600, 600, 3) and data type float32 该错误是内存不足导致训练不能继续，我的bathsize==1了已经，但还是不行。真不知道这么垃圾的电脑怎么做神经网络。 ...

BUG-2 cuda out of memory 3090都内存不足！！

qq_32730973的博客

09-12

1554

问题描述：在跑实验训练时有时候会因为加载的东西过多而爆显存出现 CUDA out of memory. 我的3090都吃不消？解决方案： 1、Batch_size 设置过大问题，直接降低batch_size，常见设置16、32、64。。我的64时候爆了 2、此外，常见在求loss时候报错，这时候定位到loss位置，加上如下代码，使用torch.cuda.empty_cache()删除一些不需要的变量代码，释放内存 optimizer.zero_grad() @释

MindSpore GPU训练过程中，gpu使用率无限增大，导致内存不足，中止训练

weixin_45666880的博客

07-28

1028

exportGLOG_v=1打开info级别日志，搜索“CompileGraphgraph_id”字样，看下是否存在多图场景，如果是单图，那就是正常的显存不足报错提示。输入图像大小是512*512，batchsize=1，主要问题是内存在刚开始占用很小，慢慢变大，然后内存不足。使用nvidia-smi命令，查看GPU有没有运行多个进程，是否存在其他进程消耗显存的情况。初步看就是编译阶段的显存不足，编译阶段显存消耗是逐渐上升的。GPU-TITAN显存12G，训练的网络是VGG16....

显存不够用？一种大模型加载时节约一半显存的方法

weixin_45794268的博客

04-18

1401

上述创建，模型占用显存, x是指模型的大小有些时候我们把模型保存到本地硬盘中之后需要用到之前保存的模型（两倍显存消耗）我们需要两倍的显存来加载我们之前存储过的权重如果我们有一个巨大的模型，这是有问题的，因为我们需要两倍的空闲RAM。例如，假设我们有16GB的RAM，而我们的模型使用10GB。加载它需要20GB，我们需要改变我们的策略。 Recently, PyTorch introduced the device. When you put a tensor to the meta de

GPU显存不足，报错：RuntimeError: CUDA out of memory.

booklijian的专栏

02-04

3577

笔者近日利用pytorch框架对图像采用Resnet50模型提取特征的时候，利用到了GPU，发现报错如下： RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch) 该程序运行所用GPU为1080TI

【MindSpore产品】【多卡GPU训练功能】参数应该怎么设置

weixin_45666880的博客

08-30

297

2、如果可以的话，参数应该怎么设置，主要是 RANK_TABLE_FILE 参数，提供的hccl配置文件链接失效。1、基于ViT的codebase进行代码修改，想在GPU环境多卡训练，请问。这个VIT 暂不支持多GPU训练，详细的使用指导就是。MindSpore模型代码，多GPU训练。这个代码库可以多GPU训练吗？...

【MindSpore Dataset】在使用Dataset处理数据过程中内存占用高，怎么优化？

weixin_45666880的博客

02-20

432

【MindSpore Dataset】在使用Dataset处理数据过程中内存占用高，怎么优化？针对一些资源（CPU和Memory）比较紧张的环境，在进行数据预处理时会出现CPU占用过高，或者内存占用高的情况。

神经网络测试的时候，Gpu内存不够了，咋整呢？？？？

szlloveCSDN的博客

08-18

988

解决方法：由于xxx.pth是在GPU上训练出来的，所以在使用cpu加载时就要从GPU映射到cpu上，即在torch.load（“xxx.pth”）中添加"map_location=torch.device(“cpu”)"即可，也就是最终改为：torch.load（“xxx.pth”，map_location=torch.device(“cpu”)）,程序就可以正常运行了。这是由于你使用的是在GPU上训练出的模型参数，但是在cpu上测试时并没有将该模型参数映射到cpu上。...

GPU设备算力不足导致计算结果错误[cublasGemmEx failed]

Kenji_Shinji的博客

09-28

980

在mindspore-1.6版本之后，mindspore对使用者的GPU显卡进行了算力识别，如使用者的GPU算力小于5.3，会有相应的日志提醒。由于是算力由硬件设备决定，暂无法通过软件方式规避，因此直接的解决方式是升级显卡设备。或者使用CPU设备进行mindspore的使用。一般是因为当前使用的GPU设备算力不够引起。当前mindspore限制显卡算力为最低5.3，显卡算力的可在Nivida官网查询。按照官网正确安装mindspore 以及cuda驱动和库文件后，运行。