大语言模型【基础】（二）微调需要多少算力？

最新推荐文章于 2025-04-15 17:08:01 发布
最新推荐文章于 2025-04-15 17:08:01 发布
阅读量6.3k 收藏 40
点赞数 37
文章标签： 人工智能 华为 nlp gpu算力
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45990786/article/details/144844385
版权

微调模型需要多少的GPU显存？

一、模型【训练】占用显存

【QWen2.5-32B为例】模型配置情况如下所示

方法一：较为精确估计全量微调占用情况

结论

根据模型配置和假设的 batch size、序列长度：

  • 总显存需求
最低0.47元/天 解锁文章
ReinaXue
关注
LLM大模型训练和预测如何计算算力需求？
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
09-14 3781
2. Transformer可以取代CNN,也就是使用Transformer可以做视觉。优化器参数 Adam 2倍模型参数:6GB*2 = 12GB。一个LLaMA-6B的数据类型为Int8。模型参数 6B*1bytes = 6GB。训练共24GB的显存。
LLM - 大语言模型的指令微调(Instruction Tuning) 概述
AGI
03-25 2985
大语言模型的指令微调(Instruction Tuning)是一种优化技术，通过在特定的数据集上进一步训练大型语言模型(LLMs)，使其能够更好地理解和遵循人类的指令。这个数据集通常由一系列的指令和相应的期望输出组成。指令微调的目的是提高模型的能力和可控性，使其在执行任务时能够更准确地响应用户的需求。
大模型（LLMs）微调篇
Java架狗师知识框架速查表
11-16 3017
大模型（LLMs）微调面涵盖了从显存需求到优化器选择等多个方面。全参数微调需16-20倍模型大小的显存。SFT后模型“变傻”因数据量少和领域知识灌注不当。指令微调数据应具代表性、适量且平衡。领域模型Continue PreTrain需高质量数据，如技术标准文档。通用能力下降可通过混合通用数据缓解。MIP（Multi-Task Instruction PreTraining）可提升预训练知识量。SFT基座模型选择取决于资源。领域评测集需选择题和开放题结合。词表扩增主要提升解码效率。训练自定义大模型分两阶段：领
消费级显卡微调工业级大模型！仅需20G显存，QwQ-32B高效微调实战！
fufan_LLM的博客
03-14 2552
QwQ微调实战教程来啦，最低20G显存，快速打造定制化QwQ-32B推理大模型！
单卡4090微调大模型 DeepSeek-R1-32B
2201_75499313的博客
04-12 729
上篇文章的微调结果并不好，因为设置了max_steps=60 限制了只执行60步以便快速完成实验。之前文章同样的方法，也可以在 24G 显存的单卡 4090 上微调训练 deepseek-ai/DeepSeek-R1-Distill-Qwen-32B；即使该模型的权重文件大小已经达到 62G，这是因为 unsloth 和 lora 的量化微调和部分参数微调优化可以大幅节约显存占用。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。本次训练在算力平台上完成。
初学者如何对大模型进行微调？
2301_82275412的博客
06-06 1977
现在大模型微调的门槛越来越低，市场上有大量开源微调框架。只要你会部署、有机器就能出个结果，赶紧动手玩起来吧！读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！😝有需要的小伙伴，可以保存图片到。
模型参数量与显存占用分析
Drug discovery
07-10 7006
由于反向传播、Adam优化和Transformer架构等因素，保守估计，训练所需的显存是模型参数所占显存的4倍（1x 为模型 、1x 为梯度、1~2x 为优化器）。为了确保训练期间模型收敛，参数类型一般不能是int8或int4。注1：使用AdamW优化器，显存需求为2x；使用SGD优化器，显存需求为1x。训练所需的显存是模型参数所占显存的1倍（1x 为模型）。训练一个1B模型大约需要16GB（4GB x 4）。训练一个1B模型大约需要4GB（4GB x 1）。例如，使用单浮点精度。例如，使用单浮点精度。
2025年 | 大模型LLMs很火，作为新人小白应该怎么入门 LLMs? （附最新大模型学习路线）
m0_56255097的博客
01-03 558
大模型目前在人工智能领域可以说正处于一种“炙手可热”的状态，吸引了很多人的关注和兴趣，也有很多新人小白想要学习入门大模型，下面给大家分享一份2025最新版的大模型学习路线，帮助新人小白更系统、更快速的学习大模型！保证100%免费。
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
热门推荐
weixin_39663060的博客
05-19 1万+
大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）
垂直领域大模型微调最全指南
m0_56022510的博客
06-17 6604
一年来多以来，大语言模型发展和变化越来越快，总体呈现出模型尺寸越变越大，算力需求越来越多，模型推理要求越来越高的特点。在这种背景下，现在不同的人关于垂域 LLM 出现了一些争议，一部分人认为随着大模型的能力越来越强，垂类的知识会加训融合到大模型。尤其当下，在 GPT-4o 效果一枝独秀的前提下，其他无论是通用模型，还是基于垂类模型都被 GPT-4o 吊打，一个典型的对比就是 GPT-4o 加持的Code Colpliot的代码能力一点都不逊色与Devins等智能体工程师。
650亿参数，8块GPU就能全参数微调：邱锡鹏团队把大模型门槛打下来了
lqfarmer的博客
06-30 151
这一优势归功于 LOMO 的内存高效特性，以及只需要两个 GPU 以相同的设置来训练模型，从而降低了通信成本，提高了吞吐量。此外，在训练 30B 模型时，SGD 在 8 个 RTX 3090 GPU 上遇到了内存不足（OOM）的问题，而 LOMO 在只有 4 个 GPU 的情况下表现良好。本文方法减少了梯度的内存使用，从存储所有参数的梯度到只存储一个参数的梯度。该研究评估了 LOMO 的内存和吞吐量性能，表明借助 LOMO，研究者在 8 个 RTX 3090 GPU 上就可以训练 65B 参数的模型。
大模型算法岗面试题系列（十八）| 如果想要在某个模型基础上做全参数微调，究竟需要多少显存?
Code1994的博客
08-05 1120
全参数微调意味着在预训练模型的基础上，调整所有参数以适应特定的任务或数据集。所需显存量取决于多个因素，包括模型的大小、批量大小、优化算法以及使用的硬件等。这是一个非常大的数字，实际上，我们还需要考虑其他因素，如优化器状态、激活和中间层存储等，这将使实际需求的显存更大。此外，现代GPU通常没有这么多显存，因此可能需要采用减小批量大小、使用模型并行化、分布式训练或混合精度训练等策略来适应硬件限制。
十分钟学会微调大语言模型
2401_85377976的博客
08-02 1129
在之前的文章中，我分享了一些使用大语言模型开发应用的方法，也介绍了几个开源大语言模型的部署方式，有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
大语言模型的微调方法_大语言模型六种微调方法
2401_85773359的博客
06-24 719
自2018年BERT发布以来，“预训练+微调”成为语言模型的通用范式。以ChatGPT为代表的大语言模型针对不同任务构造Prompt来训练，本质上仍然是预训练与微调的使用范式。千亿规模的参数微调需要大量算力，即使提供了预训练的基座模型，一般的研究机构也很难对其进行全量微调（即对所有参数进行微调）。为了应对这个问题，相关学者提出了PEFT（Parameter-Efficient Fine-Tuning，高效参数微调）技术，本文将总结并介绍几种常见的PEFT技术。
大语言模型应用指南：数据准备和参数微调
AI天才研究院
06-06 1174
大语言模型应用指南：数据准备和参数微调 1. 背景介绍 1.1 大语言模型概述 大语言模型(Large Language Model, LLM)是近年来自然语言处理(NLP)领域的重大突破。它们是在海量文本数据上训练的深度神经网络模型
阿里开源的32B大模型到底强在哪里？
2401_85328934的博客
06-14 1644
阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？
大模型Qwen32b(FP16精度)部署所需的显存大小和并发数计算分析
最新发布
微学AI的博客
04-15 1397
大家好，我是微学AI，今天给大家介绍一下大模型Qwen32b(FP16精度)部署所需的显存大小和并发计算分析。
深度学习-大模型LLM-微调经验分享&总结
记录学习的小白
06-02 2011
PT方法占用显存更大，因为也增加了很多而外参数;测试耗时，采用float16进行模型推理，由于其他方法均增加了额外参数，因此其他方法的推理耗时会比Freeze方法要高。当然由于是生成模型，所以生成的长度也会影响耗时;模型在指定任务上微调之后，并没有丧失原有能力，例如生成“帮我写个快排算法”，依然可以生成-快排代码;
大模型项目落地时，该如何估算模型所需GPU算力资源
kcarly的专栏
06-22 4712
大模型项目落地时，该如何估算模型所需GPU算力资源。在大模型项目落地前期沟通时，对于算力估算和采购方案许多小伙伴不太了解，在此对相关的算力估算和选择进行一些经验总结。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值