LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系

已于 2023-11-27 22:51:38 修改
阅读量2.4k 收藏 7
点赞数 4
分类专栏： LLM 文章标签： batch 深度学习 开发语言
于 2023-06-11 12:28:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131152054
版权

 对于LLaMa-6b模型来说

1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：

2、 每个样本需要的内存大小（）：

3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch_size最大可以设置为50

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
在单GPU卡大小有限的情况下提高batch_size方案（太小会导致训练不稳定）：①多GPU卡并行运算，统一更新梯度；②梯度累积
u013250861的博客
06-11 522
在单次Batch中使用的样本越少，梯度估计准确度越低。梯度累积就是，每次获取1个batch的数据，计算1次梯度，此时梯度不清空，不断累积，累积一定次数后，根据累积的梯度更新网络参数，然后清空所有梯度信息，进行下一次循环。梯度累积则是只计算神经网络模型，但是并不及时更新网络模型的参数，同时在计算的时候累积计算时候得到的梯度信息，最后统一使用累积的梯度来对参数进行更新。在不更新模型变量的时候，实际上是把原来的数据Batch分成几个小的Mini-Batch，每个step中使用的样本实际上是更小的数据集。
需要多大内存的GPU才能加载100GB的预训练模型？具体怎么操作？
禅与计算机程序设计艺术
06-21 9611
要加载100GB的预训练模型，通常需要一块具有至少100GB的显存的GPU。在使用多个GPU并行加载模型时，可以使用深度学习框架提供的分布式训练功能，将模型权重文件分成多个块，然后将每个块分配到不同的GPU上。需要注意的是，加载大型预训练模型需要大量的计算资源和时间，因此建议在具有足够显存和计算能力的机器上运行代码。如果需要在多个GPU上并行加载模型，可以将模型权重文件分成多个块，然后将每个块分配到不同的GPU上。需要注意的是，以上代码仅用于示例目的，具体的实现方式可能因模型和数据等因素而异。
LLM大模型显存计算
weixin_40777649的博客
01-12 3441
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
【目标检测】epoch、batch、batch_size理解
01-20
1 epoch 当一个完整的数据集通过神经网络一次并且返回一次的过程称为一个epoch。 然而，当一个epoch对于计算机太过庞大时，就需要把它分成多个小块。 2 batch 在不能将数据一次性通过神经网络的适合，就需要将数据集分成几个batch。 3 batch_size 直观的理解 一个batch中的样本总数（一次训练所选取的样本数）。 batch_size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU显存不大，该数值最好设置小一点。 提出batch_size的原因 在没有使用Batch Size之前，这意味着网络在训练时，是一次把所有的数据（整个数据库
LLaMA详细解读
最新发布
qq_32907491的博客
05-04 1551
LLaMA是一个系列模型，模型参数量从7B到65B。在大部分的任务上，LLaMA-13B强于GPT-3(175B)。LLaMA-65B的性能，可以和最好的LM相媲美，如Chinchilla-70B 和 PaLM-540B。
训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系
热门推荐
专心扫地
08-11 2万+
参考链接：https://blog.csdn.net/lien0906/article/details/78863118 问题： tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd7d00 of size 2048 tensorflow/core/common_runtime/bfc_allocator....
LLM batch
MichaelWang的博客
12-06 2017
llm batch策略
详解GPU显存和batch size的关系
orangerfun的博客
09-15 2838
GPU显存、规格指标；神经网络训练，显存占用
【深度学习】各型号GPU显存大小
贱小杜的博客
06-27 5734
https://www.mydrivers.com/zhuanti/tianti/gpu/index_nvidia.html
在英特尔锐炫™独立显卡运行类ChatGPT的开源大语言模型（LLM) Dolly 2.0
英特尔边缘计算社区
07-03 3571
Dolly 2.0是第一个开源的，遵循指令的LLM，由Databricks在一个透明且免费提供的数据集上进行微调，该数据集也是开源的，可用于商业目的。10年以上的资深人员，依据丰富的经验和ISO9001体系的指导，设立了运营部、产品部、研发部、供应链、品质部等，具备了主板的研发设计、生产线的DIP、SMT以及整机的组装测试的能力。​Dolly 2.0是第一个开源的，遵循指令的LLM，由Databricks在一个透明且免费提供的数据集上进行微调，该数据集也是开源的，可用于商业目的。有关更多详细信息，请参阅。
LLM - model batch generate 生成文本
BITDDD小栈
07-31 4085
LLM model generate batch 批量生成与参数详解。
终端LLM AI模型:mlc-llm
10-10
MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，让每个人都能在每个人的设备上本地开发、优化和部署 AI 模型。
ChatGLM2-6B: An Open Bilingual Chat LLM - 开源双语对话语言模型
02-06
ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
2023大型语言模型-aigc-LLM-engineering实例代码合集.zip
10-12
2023大型语言模型——aigc_LLM_engineering实例代码合集，共5个专题。 1-ChatGLM使用 2-LangChain使用 3-ChatPDF实现 4-向量数据库 5-StableDiffusion & Midjourney 1-ChatGLM使用 2-LangChain使用 3-ChatPDF实现 ...
学习笔记：从零开始了解AI大模型 - 技术篇：万字深度好文人话说大模型技术
09-20
学习笔记：从零开始了解AI大模型 - 技术篇：万字深度好文人话说大模型技术 本文将带您深入了解AI大模型的技术世界，从零开始了解大模型的核心技术。AI大模型是机器学习的瑰宝，蕴含着“预训练”和“大模型”两大...
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
技巧-GPU显存和利用率如何提高和batch_size/num_works等参数的实验测试
zwhdldz的博客
11-30 4985
在PyTorch中使用多个GPU进行模型训练时，各个参数和指标之间存在一定的关系。GPU显存是限制模型训练规模的关键因素。当使用多个GPU进行训练时，每个GPU都会分配一部分显存用于存储中间变量、梯度、权重等。GPU显存的使用量取决于模型的复杂度、批量大小（batch size）以及数据类型等因素。举例：假设我们使用两个GPU（GPU 0和GPU 1）进行训练，每个GPU的显存为12GB。若批量大小为32个样本，模型复杂度为中等，则每个GPU可能需要大约4GB的显存。
pytorch中多GPU的batch_size问题
qq_37950002的博客
10-17 1万+
KeyError: Caught KeyError in replica 0 device, 或者ValueError: Caught ValueError in replica 0 on device 0.都是因为batch_size没有设好。 在端到端的语音中，一个语句就是一个输入，total即总的输入就是text中的行数，用wc -l text，就可以看到了。 多个gpu训练时，每个gpu上的负载时batch_size / n_gpu 训练迭代的次数为total / batch_size 但是肯定会有
开源大模型训练及推理所需显卡成本必读：也看大模型参数与显卡大小的大致映射策略
Johntill的博客
09-01 1万+
随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老破小GPU显卡，这就引发了一个问题：如何在这样的条件下成功运行模型？
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值