LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系

已于 2023-11-27 22:51:38 修改
阅读量3.1k 收藏 9
点赞数 5
分类专栏： LLM 文章标签： batch 深度学习 开发语言
于 2023-06-11 12:28:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131152054
版权
本文探讨了LLaMa-6b模型在训练时所需的内存，包括模型参数、梯度和优化器参数。在A100 GPU上，最大batch_size可达50。内容涉及AdamW优化器的参数存储，以及如何根据模型参数数量计算梯度参数量。还讨论了大模型训练中显存管理的重要性及batch size选择的考虑因素。
摘要由CSDN通过智能技术生成

 对于LLaMa-6b模型来说

1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：

2、 每个样本需要的内存大小（）：

3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch_size最大可以设置为50

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
在单GPU卡大小有限的情况下提高batch_size方案（太小会导致训练不稳定）：①多GPU卡并行运算，统一更新梯度；②梯度累积
u013250861的博客
06-11 648
在单次Batch中使用的样本越少，梯度估计准确度越低。梯度累积就是，每次获取1个batch的数据，计算1次梯度，此时梯度不清空，不断累积，累积一定次数后，根据累积的梯度更新网络参数，然后清空所有梯度信息，进行下一次循环。梯度累积则是只计算神经网络模型，但是并不及时更新网络模型的参数，同时在计算的时候累积计算时候得到的梯度信息，最后统一使用累积的梯度来对参数进行更新。在不更新模型变量的时候，实际上是把原来的数据Batch分成几个小的Mini-Batch，每个step中使用的样本实际上是更小的数据集。
详解GPU显存和batch size的关系
orangerfun的博客
09-15 3865
GPU显存、规格指标；神经网络训练，显存占用
解决显存不足问题：深度学习中的 Batch Size 调整【模型训练】
qq_22841387的博客
07-21 1994
Batch Size 是指在一次训练迭代（iteration）中传递给神经网络进行前向传播和后向传播的数据样本数量。整个数据集通常不会一次性传递给模型，而是分成多个较小的批次，每个批次逐步传递给模型进行训练。
训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系
专心扫地
08-11 2万+
参考链接：https://blog.csdn.net/lien0906/article/details/78863118 问题： tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd7d00 of size 2048 tensorflow/core/common_runtime/bfc_allocator....
LLM batch
MichaelWang的博客
12-06 3029
llm batch策略
开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
Johntill的博客
09-01 2万+
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
【深度学习】各型号GPU显存大小
贱小杜的博客
06-27 6759
https://www.mydrivers.com/zhuanti/tianti/gpu/index_nvidia.html
大语言模型LLM基础：推理/不同模型/量化对显存、推理速度和性能的影响
sagima_sdu的博客
06-29 3475
本文内容和测试数据主要来自Qwen，零一万物，Nvidia等官方材料（相关文档请查看参考资料部分）。
FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析
热门推荐
herosunly的博客
05-03 12万+
本文主要介绍了FP16、INT8、INT4精度模型加载占用显存大小的分析，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 模型加载显存占用大小 3. 不同精度是否与硬件适配
从零开始大模型开发与微调：Nvidia 10_20_30_40系列显卡选择的GPU版本
AI天才研究院
07-10 888
从零开始大模型开发与微调：Nvidia GPU选择指南 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大模型开发，GPU选择，Nvidia显卡，高性能计算，深度学习加速 1. 背景
LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位
丨汀、的博客
05-01 254
LLM系列(3)：探索大模型RLHF优化之道：DeepSpeed-Chat超快速入门，对齐训练精度提升一步到位
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
丨汀、的博客
05-22 566
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
需要多大内存的GPU才能加载100GB的预训练模型？具体怎么操作？
AI天才研究院
06-21 9755
要加载100GB的预训练模型，通常需要一块具有至少100GB的显存的GPU。在使用多个GPU并行加载模型时，可以使用深度学习框架提供的分布式训练功能，将模型权重文件分成多个块，然后将每个块分配到不同的GPU上。需要注意的是，加载大型预训练模型需要大量的计算资源和时间，因此建议在具有足够显存和计算能力的机器上运行代码。如果需要在多个GPU上并行加载模型，可以将模型权重文件分成多个块，然后将每个块分配到不同的GPU上。需要注意的是，以上代码仅用于示例目的，具体的实现方式可能因模型和数据等因素而异。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 839
AI菜鸟向前飞 — LLM简介
在英特尔锐炫™独立显卡运行类ChatGPT的开源大语言模型（LLM) Dolly 2.0
英特尔开发人员专区
07-03 3726
Dolly 2.0是第一个开源的，遵循指令的LLM，由Databricks在一个透明且免费提供的数据集上进行微调，该数据集也是开源的，可用于商业目的。10年以上的资深人员，依据丰富的经验和ISO9001体系的指导，设立了运营部、产品部、研发部、供应链、品质部等，具备了主板的研发设计、生产线的DIP、SMT以及整机的组装测试的能力。​Dolly 2.0是第一个开源的，遵循指令的LLM，由Databricks在一个透明且免费提供的数据集上进行微调，该数据集也是开源的，可用于商业目的。有关更多详细信息，请参阅。
LLM - model batch generate 生成文本
BITDDD小栈
07-31 5665
LLM model generate batch 批量生成与参数详解。
技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试
zwhdldz的博客
11-30 8053
在PyTorch中使用多个GPU进行模型训练时，各个参数和指标之间存在一定的关系。GPU显存是限制模型训练规模的关键因素。当使用多个GPU进行训练时，每个GPU都会分配一部分显存用于存储中间变量、梯度、权重等。GPU显存的使用量取决于模型的复杂度、批量大小（batch size）以及数据类型等因素。举例：假设我们使用两个GPU（GPU 0和GPU 1）进行训练，每个GPU的显存为12GB。若批量大小为32个样本，模型复杂度为中等，则每个GPU可能需要大约4GB的显存。
LLM - 理解 大模型 Batch 推理的 Padding Side (左填充或右填充)
最新发布
Mystra
07-26 372
使用 Left Padding (左填充) 或者 Right Padding (右填充)，HuggingFace 的 transformer 库使用的 Left Padding，而 Llama 源码使用的是 Right Padding，两者各有不同，各有优势。做大模型 Batch 推理时，当请求的语句不等长时，需要使用 Padding，即填充一个无意义的 token，一般推荐 eos_token。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值