24GB内存就能跑7B参数大模型？全新训练策略GaLore助你突破内存瓶颈

已于 2024-03-14 00:56:34 修改
阅读量678 收藏 1
点赞数 10
分类专栏： gpt 文章标签： 人工智能 AI aigc chatgpt gpt
于 2024-03-14 00:55:47 首次发布
本文为博主（李孟）原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/qq_19968255/article/details/136579979
版权

训练大型语言模型，内存总是个大问题。

权重啊、优化器状态啊，都得吃内存，而且吃得还不少。

为了省内存，有人就想出了一些招儿，比如低秩适应（LoRA），就是给预训练权重添点儿可训练的低秩矩阵，这样就能少训练点参数，优化器状态也省了。

冻结预训练模型的参数还能加速训练呢，因为只有新模型的参数在更新，其他的都保持不变。

不过啊，这些方法虽然能省内存，但效果可能没全秩权重训练那么好。

因为它们限制了参数搜索的空间，改变了训练的方式，有时候可能还需要全秩热身来启动一下。

最近有人提出了一种新的训练策略，叫梯度低秩投影（GaLore）。

这招儿能让全参数学习更省内存，效果还挺好。

在优化器状态方面，它能减少高达65.5%的内存使用量，而且性能还不打折。在LLaMA 1B和7B架构上都试过了，确实有效果。

现在你可以试试在24GB内存的GPU上预训练那个7B参数的模型了，说不定真的能跑起来哦！

https://arxiv.org/pdf/2403.03507.pdf
而且还不需要什么模型并行、检查点或卸载策略这些复杂的操作。

这不就是我们梦寐以求的“神器”吗？

不过啊，到底哪种预训练策略最好用呢？咱们一起来聊聊这些策略的使用过程吧。

内容迁移微信公众号：李孟聊AI
在这里插入图片描述

大模型推理显存需求
强化学习曾小健
06-27 5122
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
彻底疯狂！实操用Golare在单块4090上预训练大模型及实测效率
kirov1024的博客
03-21 4155
最近正想着微调scGPT这种生物大模型，把那篇文章的小部分结果复现一下，结果24G显存还没推理就帕的一下装满了，看着手里的双4090只能本地部署部署的14B，微调微调还要并行运行，可怜的不要不要的，早知道多整几块2080Ti魔改了。詹姆斯表示2080 22g是一张极为......正当我纳闷的时候，想着有没有刚好4090就能跑下的模型，不浪费一点内存。
7B模型中型企业部署硬件配置详解
qq_29372275的博客
05-24 3373
在上述中等配置下，通过合理的优化和负载管理，一个系统能够支撑大约2400-4800左右的用户数。这一估算值基于某些理想假设，如每个用户每分钟发起一个请求。实际支持的用户数可能会因为用户行为、请求模式、系统优化等因素有所不同。通过实际的负载测试和运行数据分析，进一步调整系统配置和优化方案，可以更精准地估算支持的用户数并提升系统性能。
AI模型参数9B 7B是什么意思？
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
03-07 7159
7B、9B、13B、33B和65B型号。
自然语言处理:第四十一章 解读大模型的参数
victor_manches的博客
07-02 1258
大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务时可能就会表现得更好。
AI大模型参数介绍中的5B、7B是何意？
热门推荐
highge111的博客
10-24 2万+
AIGC大模型参数的5B、7B是指模型中可训练参数的数量。这里的“B”表示10亿（Billion），即10^9。因此，5B表示50亿个可训练参数，7B表示70亿个可训练参数。
适用于AIGC（人工智能生成内容）的服务器
weixin_41046245的博客
08-19 1432
构建一台适用于AIGC（人工智能生成内容）的服务器，要求硬件和软件的高度协同，以确保高效运行大型深度学习模型。AIGC服务器通常需要处理大规模的数据和复杂的计算任务，如训练和推理深度神经网络。
baichuan-7B模型介绍及微调
dzysunshine的博客
07-04 7176
2023年6月15日，搜狗创始人王小川创立的百川智能公司，发布了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B 基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。
大模型入门2: 指令微调
yuetan的博客
12-17 8100
微调7B模型需要3×28G的显存(SGD+Momentum)，至少需要2张A100的显卡才能满足。
难以置信！使用这项新技术可以在单个 4GB GPU 上运行 70B LLM 推理
Mo 的博客
01-02 375
大型语言模型需要大量的 GPU 内存。是否可以在单个 GPU 上运行推理？如果是这样，所需的最小 GPU 内存是多少？70B大语言模型参数大小为130GB。在推理过程中，整个输入序列还需要加载到内存中以进行复杂的“注意力”计算。这种注意力机制的内存需求与输入长度呈二次方关系。除了 130GB 型号大小之外，还需要更多内存。那么什么技术可以节省如此多的内存并能够在单个 4GB GPU 上进行推理呢？请注意，这里的内存优化技术今天文章最后我们还分享了通过几行代码实现这一点的开源库！
解析大型语言模型的训练、微调和推理的运行时性能
liangwqi的博客
11-22 4013
这篇论文是截至目前为数不多的介绍大模型训练配套环境比对的论文，对于想要入门大模型训练同学是个不错的入门资料。比较了不同尺寸模型（比较常用的7、13、70b），在不同型号gpu、训练框架、推理框架数据。 结合自己实际工作需要和论文给出的运行时数据分析，总结了下面几条： 1.二次预训练最低硬件配置，如果想要自己做简单二次预训练（7、13、70B参数）最小8卡80g显存A100 2.对于小规模sft对考虑PEFT做训练就可以，freezen fintune方法需要硬件还是较大 3.FlashAttention对向
7B的模型有多大？
小鹏AI
01-14 993
7B的模型有多大？
大模型训练所需的硬件配置
ybdesire的专栏
02-11 9450
训练一个大模型，到底需要投入多少块GPU，需要多少数据，训练多长时间能达到一个不错的效果？
大模型参数——详细介绍
2402_84466582的博客
08-07 4585
大模型参数——详细介绍
5分钟教你本地部署刷爆全网的DeepSeek-R1大模型
振华OPPO的博客世界
02-11 1823
AI再强，也只是个工具，程序员才是掌控工具的大佬。所以，程序员的未来，不是淘汰，而是起飞。程序员要做的就是接受AI，学习AI，使用AI，成为新时代的复合型人才。能够掌握AI的人，才是未来的赢家。 站在时代的分水岭上，有人看到的是深渊，有人看到的却是满天星群。机会，永远留给有准备的人的。在AI时代，学会AI、善用AI就是你最好的准备！
LLM | Gemma的初体验
weixin_44649780的博客
03-06 1681
一起来体验一下吧~此型号卡对应于 Gemma 型号的 7B 指令版本。
LLaMA：7B参数量的Baby版ChatGPT窥探
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
03-09 1万+
本文通过造一些prompt初步窥探了7B版本的LLaMA，所生成的结果比较依赖于prompt的质量，有资源可以尝试65B参数量的版本。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 703
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
联想推出擎天AI适配中心，智能体部署开启“交钥匙”新模式
最新发布
weixin_43735236的博客
05-16 337
根据中研普华产业研究院的《2025-2030年中国AI大模型行业竞争格局分析与未来趋势预测报告》分析，2025年中国AI大模型市场规模预计将突破495亿元，大模型技术正在全行业快速演进，其中智能体成为企业AI落地的重要形式，特别是在政务、金融、医疗等对数据可控性要求极高的行业，本地化部署几乎已成共识。面对快速演进的市场环境，ISV常常陷入部署难、适配难、交付慢等难题——擎天AI适配中心的推出，正是为了解决这些关键痛点，帮助开发者在智能体的部署过程中，跳过复杂的搭建过程，专注于业务模型开发与客户交付。
llamafactory 推理模型如何训练
03-19
### LlamaFactory推理模型的训练方法 LlamaFactory 的推理模型训练方法基于其三大核心模块：Model Loader、Data Worker 和 Trainer。以下是关于训练方法的具体说明： #### 1. **模型加载与适配** LlamaFactory 使用 Model Loader 来管理不同类型的预训练模型，并通过构建一个模型注册表实现对多种模型的支持。该模块能够自动识别模型中的特定层并将适配器附加到这些层上，从而支持高效的微调操作[^1]。 #### 2. **数据处理与准备** 为了适应多样化的数据集需求，LlamaFactory 提供了一种标准化的数据描述规范。这种规范使得 Data Worker 可以轻松地通过对齐相应列的方式收集和整理数据集。这种方法显著降低了数据预处理的工作量，并提高了灵活性。 此外，在实际应用中，通常会将数据划分为训练集和验证集。验证集的比例可以根据具体情况设置为总数据量的 10%-20%，以便更好地监控模型表现并调整超参数[^2]。 #### 3. **高效微调技术** Trainer 集成了先进的高效微调算法，例如 LoRA+、GaLore 和 BAdam。这些方法不仅独立于具体的任务，还可以通过简单替换默认组件的方式来启用。这极大地简化了新方法的集成过程，并减少了资源开销[^3]。 #### 4. **强化学习与分布式训练** 对于更复杂的任务，如对话生成或指令跟随，LlamaFactory 支持 RLHF（Reinforcement Learning from Human Feedback）。它引入了一种创新性的模型共享机制，可以在不增加额外预训练模型的前提下完成整个 RLHF 流程。 在大规模分布式环境中，LlamaFactory 还兼容 DeepSpeed 工具包。借助 DeepSpeed 的数据并行性和 ZeRO 优化器功能，可以有效提升 GPU 利用率并缓解内存瓶颈问题。 --- ### 参数调优建议 针对 LlamaFactory 中涉及的主要参数，以下是一些推荐策略： - **Batch Size**: 增加 batch size 能够加速收敛速度，但在有限硬件条件下需权衡显存占用情况。 - **Learning Rate (LR)**: 初始化 LR 应较小，随后采用动态调度方式逐步增大至最优值范围。 - **Validation Set Ratio**: 如前所述，依据项目规模选取适当比例划分验证子集有助于评估泛化能力。 下面展示一段 Python 实现代码片段作为参考： ```python from llama_factory import Trainer, DataLoader # 定义配置文件路径 config_path = "./configs/finetune_config.json" # 加载自定义数据集 data_loader = DataLoader(config_path) # 创建 trainer 对象 trainer = Trainer( model_name="base_model", data_loader=data_loader, micro_batch_size=8, learning_rate=5e-5, validation_split_ratio=0.1 ) # 启动训练流程 trainer.train(num_epochs=10) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李孟聊人工智能

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值