不同参数规模大语言模型在不同微调方法下所需要的显存总结

最新推荐文章于 2024-08-10 10:45:33 发布
最新推荐文章于 2024-08-10 10:45:33 发布
阅读量2.5k 收藏 13
点赞数 8
分类专栏： 大模型 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/df19900725/article/details/135181618
版权

原文来自DataLearnerAI官方网站：

不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)icon-default.png?t=N7T8https://www.datalearner.com/blog/1051703254378255

大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任务，识别特定的指令等。但是大模型的微调需要的显存较高，而且比较难以估计。与推理不同，微调过程微调方法的选择以及输入序列的长度、批次大小都会影响微调显存的需求。本文根据LLaMA Factory的数据总结一下大模型微调的显存要求。

在此前的文章中，我们已经解释了大模型推理和显存之间的估算方法：

最低0.47元/天 解锁文章
数据学习（Datalearner）
关注
专栏目录
资源有限的大型语言模型的全参数微调
AI浩
06-22 2118
论文链接：https://arxiv.org/pdf/2306.09782v1.pdf大型语言模型(LLM)已经彻底改变了自然语言处理(NLP)，但需要大量的GPU资源进行训练。降低LLM的训练门槛将鼓励更多的研究人员参与，使学术界和社会都受益。虽然现有的方法主要集中在参数高效的微调上，即调整或增加少量参数，但很少有人能够在有限的资源下解决调优LLM的全部参数的挑战。在本文中，我们提出了一种新的优化器，低内存优化(LOMO)，它将梯度计算和参数更新融合在一起，以减少内存的使用。
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
丨汀、的博客
07-16 2万+
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
大模型推理显存需求
人工智能曾小健
06-27 1383
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
如何评估大模型全参数微调需要的显存
2301_79093491的博客
01-29 8068
模型的大小、批处理大小（Batch Size）、序列长度，以及是否采用了一些显存优化技术。模型的大小直接影响显存使用。例如，一个有110M参数的模型（如BERT-base）与一个有340M参数的模型（如BERT-large），在相同条件下，后者会消耗更多的显存。批处理大小增加意味着同时处理更多的数据，这会线性增加显存的需求。输入的序列长度越长，模型处理时占用的显存也就越多。这是因为模型必须处理并存储更多的中间状态数据。
详解-大模型推理（Llama3）相关参数和显存计算！
最新发布
2401_85375186的博客
08-10 1731
LLM 推理任务需要大量的算力，将现代 GPU 推向极限。过去两年， LLM 训练和推理优化相关的研究进展速度惊人，每六个月就会出现新的突破。今天的分享主要，为大家介绍LLM 推理领域所必备的一些基本数学与概念，这包含了Llama3的以及，对于张量、矩阵等基本数学原理本文不会赘述。我们先来看看标准的架构。左图来自于大模型技术的起源之作《Attention is all you need》，这是一个标准的transformer结构，由左侧的和右侧的两部分构成。
大语言模型微调技术要点之硬件准备和数据准备
garyyu2200的博客
01-15 1420
本文为大语言模型微调所需知识点的概览，第一部分先介绍大语言模型中微调的硬件准备和数据准备的相关知识点和经验总结
大规模语言模型高效参数微调--BitFit/Prefix/Prompt 微调系列
Hanscal
10-07 336
Prompt token 的长度在 20 左右时的表现已经不错(超过 20 之后， 提升Prompt token 长度， 对模型的性能提升不明显了)，同样的， 这个 gap 也会随着模型参数规模的提升而减小(即对于超大 规模模型而言，即使 Prompt token 长度很短，对性能也不会有太大的影响)。那么 prefix 的含义是什么呢？参数高效微调是指微调少量或额外的模型参数， 固定大部分预训练模型(LLM) 参数， 从而大大降低了计 算和存储成本， 同时， 也能实现与全量参数微调相当的性能。
微调模型需要的显存大小
aigchouse的博客
06-07 660
综上所述，微调大语言模型所需的显存大小取决于模型的大小、批次大小、序列长度和训练过程中使用的优化算法等因素。如果显存不足以容纳整个批次或序列，可能需要减小批次大小或序列长度，或者使用分布式训练等策略来解决显存不足的问题。需要注意的是，显存需求还受到训练过程中使用的优化算法的影响。对于大型语言模型，如GPT-2、GPT-3等，它们通常具有数亿或数十亿个参数，因此需要大量的显存来存储模型参数和梯度。微调大语言模型所需的显存大小取决于多个因素，包括模型的大小、批次大小、序列长度和训练过程中使用的优化算法等。
需要多少GPU显存才能对大语言模型预训练、微调、推理？大语言模型参数规模与显存大小的关系估算方法
baidu_39211350的博客
10-10 2951
参考链接
大模型实战—通义千问大模型微调
热门推荐
05-26 6万+
这个参数仅针对 llama 类型的模型结构，默认勾选的是 q_proj 和 v_proj，具体的名词不容易理解，我就不多说了，可以简单的认为是对模型的理解能力进行优化，一般这两个就够了。当这个值较高时，适应新任务的能力会增强，但是对基础模型的影响会比较大，有过拟合的风险，尤其是在数据量有限的情况下。为了方便测试，我在云环境也创建了一个镜像，相关的环境都配置好了，可以直接使用几个国内开源的大语言模型，比如清华智谱的ChatGLM3-6B、零一万物的Yi-34B，还有最近阿里云开源的Qwen1.5-32B。
大规模语言模型从理论到实践 LoRA
程序员光剑
06-09 912
早期的语言模型主要基于统计方法,如n-gram模型。这些模型虽然简单,但面临数据稀疏、长距离依赖等问题,难以捕捉语言的深层语义。大规模语言模型泛指基于深度神经网络、包含亿级以上参数的语言模型。它们通过在大规模语料上进行自监督预训练,习得了丰富的语言知识,具备强大的理解、生成乃至推理能力。但同时,它们也面临训练和存储成本高、适应特定领域能力弱等挑战7。self.r = rself.r = r这里r为LoRA矩阵的秩,lora_alpha为初始化系数,为LoRA层额外的dropout。lora_A和。
大语言模型Lora参数微调过程（附完整代码）
qq-1343330453
01-09 1326
大语言模型微调过程
模型内存计算
weixin_40777649的博客
12-08 803
● fp32 精度，一个参数需要 32 bits, 4 bytes.● fp16 精度，一个参数需要 16 bits, 2 bytes.● int8 精度，一个参数需要 8 bits, 1 byte.内存分配： 1.模型参数 2. 梯度 3.优化器参数。int8 的 LLaMA-6B，AdamW 需要 6B。对于 fp32，LLaMA-6B 需要 6B。对于 int8，LLaMA-6B 需要 6B。4 bytes = 24GB内存。梯度：同上，等于参数量。
AI大模型的推理显存占用分析
酌沧
05-28 2490
了解Transformer架构的AI大模型显存占用是非常重要的，特别是在训练和推理过程中。
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
asdasd的专栏
09-01 2万+
nvidia-smi注意 ： 使用 nvidia-smi 查看CUDA 版本必须是 11.8。
挑战性能极限小显卡大作为，教你如何在有限资源下运行大型深度学习模型，GPU显存估算并高效利用全攻略！
丨汀、的博客
03-29 1568
挑战性能极限小显卡大作为，教你如何在有限资源下运行大型深度学习模型，GPU显存估算并高效利用全攻略！
大模型微调方法总结
2401_85343303的博客
06-25 1568
P-Tuning v2是一种在不同规模和任务中都可与微调相媲美的提示方法。P-Tuning v2对从330M到10B的模型显示出一致的改进，并在序列标注等困难的序列任务上以很大的 幅度超过了Prompt Tuning和P-Tuning。四 Freeze方法Freeze是冻结的意思，Freeze方法指的是参数冻结，对原始模型的大部分参数进行冻结，仅训练少部分的参数，这样就可以大大减少显存的占用，从而完成对大模型的微 调。
大模型入门2: 指令微调
yuetan的博客
12-17 4961
微调7B模型需要3×28G的显存(SGD+Momentum)，至少需要2张A100的显卡才能满足。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值