XTuner大模型单卡低成本微调作业

最新推荐文章于 2024-07-05 16:44:12 发布
最新推荐文章于 2024-07-05 16:44:12 发布
阅读量335 收藏 8
点赞数 10
分类专栏： MMLab实战训练营 文章标签： 人工智能 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42866033/article/details/135569527
版权
本文介绍了如何使用XTuner对InternLM-Chat-7B模型进行基础微调，通过生成数据集并合并参数，展示训练过程。随后深入讲解了如何将训练成果部署到OpenXLab等平台的进阶步骤。
摘要由CSDN通过智能技术生成

XTuner大模型单卡低成本微调作业

基础作业

构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型

生成数据集

使用 Google 的 Bard 生成所需的数据集：
在这里插入图片描述

在这里插入图片描述

开始训练

在这里插入图片描述

Merge模型参数：

在这里插入图片描述

运行效果

在这里插入图片描述

进阶作业

  • 将训练好的Adapter模型权重上传到 OpenXLab、Hugging Face 或者 MoelScope 任一一平台。
  • 将训练好后的模型应用部署到 OpenXLab 平台
    在这里插入图片描述
Zhangdd1208
关注
  • 10
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
XTuner 大模型单卡低成本微调实战
zhjunqin的博客
01-14 487
视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f 文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner XTuner Repo: https://github.com/InternLM/xtuner/tree/main 拷贝修改配置文件 训练微调 使用命令训练 也可以增加 d
XTuner 大模型单卡低成本微调实战笔记
m0_75085274的博客
01-13 1803
这部分非常重要，因为以后如果我们想在自己的训练集上进行训练，就要使用这个内容。首先第一步的话就是准备数据集的格式，这里大佬是用GPT生成的，我的天呀，原来大佬也用gpt生成代码呀，但是的话，大佬好像比我强的是使用提示词，我代码不会写，可以使用提示词让gpt帮我写，就这么干了！上面的数据文件是表格形式的，我们要先将提问和回答提取出来，然后保存到josnl文件中去，学习一下提示词[{},}]这后吧文件复制过来。
XTuner 大模型单卡低成本微调之本地实战
weixin_55982578的博客
02-22 1092
3090单卡微调大模型
XTuner大模型单卡低成本微调实战作业
qq_74261455的博客
01-23 1036
XTuner大模型单卡低成本微调实战作业
XTuner 大模型单卡低成本微调实战——作业
YYYYbhjbhkv_的博客
01-26 191
构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手。
04 XTuner 大模型单卡低成本微调实战
Wzxdecsdn的博客
01-14 926
关于XTuner 大模型单卡低成本微调实战的记录
XTuner大模型单卡低成本微调实践
SmallZCan_t的博客
01-14 394
加速方式：flash attention。
XTuner大模型单卡低成本微调实战
qq_34354951的博客
01-24 447
最开始还是越学越迷糊的状态。
XTuner 大模型单卡低成本微调
weixin_55982578的博客
02-20 383
LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式在 XTuner 里面使用 LoRAGPT 里面的 plugin利用多数据并连来提高GPU资源的使用自定义数据集。
一个大模型训练、微调、评估、推理、部署的全流程开发套件
12-31
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件： 提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型...
第五期《MindFormers套件之大模型》
10-18
【MindFormers大模型使能套件】是华为推出的一款专为大模型开发与应用而设计的工具包，旨在简化大模型的构建、训练、微调和推理过程。该套件提供了一系列高阶接口和功能，使开发者能够更加高效地进行大模型的实践...
陈丹琦团队新作：单卡A100可训300亿参数模型啦！.pdf
08-13
这样可以大大降低内存成本，使得微调语言模型变得更加高效。 MeZO优化器还可以与其他基于梯度的优化器结合使用，例如带动量的随机梯度下降（SGD）或Adam优化器。尽管原始的实现方式需要额外的内存来存储梯度动量的...
MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件提供业内主流的训练模型
04-10
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型...
是构建一个大模型训练、推理、部署的全流程套件： 提供业内主流的Transformer类预训练模型， 涵盖丰富的并行特性
04-27
MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件： 提供业内主流的Transformer类预训练模型， 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。MindSpore Transformers套件...
使用Python实现深度学习模型：序列建模与生成模型的博客教程
Echo_Wish的博客
07-02 1060
本文介绍了使用Python实现深度学习模型的序列建模和生成模型的步骤。我们详细说明了每个步骤，并提供了相应的代码示例。通过学习本文，您将能够使用Python构建和训练序列建模和生成模型，并生成新的序列数据。希望本文对您有所帮助！如果您有任何问题或建议，请随时提出。
开思通智网-科技快报20240704：全球首个，人工智能之城，AI填报志愿
最新发布
opensnn的博客
07-05 398
【本周新进展】【本周国外资讯】【其他】
【遥感语义分割】UNetFormer
m0_53700832的博客
07-05 721
原文：UNetFormer: An UNet-like Transformer for Efficient Semantic Segmentation of Remotely Sensed Urban Scene Imagery Libo Wang1, 2, Rui Li1, Ce Zhang3, 4, Shenghui Fang1*, Chenxi Duan5, Xiaoliang Meng1, 2 and Peter M. Atkinson3, 6, 7 1) School of Remote Se
2024第二届电子通信与计算机科学技术国际会议(ICECCST 2024)
anana_xu的博客
07-05 466
2024第二届电子通信与计算机科学技术国际会议(ICECCST 2024)会议简介2024第二届电子通信与计算机科学技术国际会议（ICECCST 2024）是一次重要的学术盛会，将在中国厦门举行。会议的主要目的是为全球的电子通信和计算机科学技术领域的专家、学者、研究人员和从业人员提供一个交流和学习的平台。会议将汇集世界各地的优秀学者，共同探讨电子通信和计算机科学技术的前沿问题，分享最新的研究成果和技术进展。会议的主题包括但不限于电子通信、计算机科学、人工智能、物联网、云计算、大数据等。
大模型微调经典论文Qlora
04-10
QLORA（Quantization-aware Low-Rank Adaptation）是一种高效的微调方法，专为大型语言模型（LLMs）设计，以减少在微调过程中所需的内存使用。这项技术允许在单个48GB GPU上微调具有650亿参数的模型，同时保持与16位微调相当的性能水平。 QLORA的核心创新包括4位NormalFloat（NF4）量化和双重量化技术，这些技术使得模型能够在保持性能的同时显著降低内存占用。此外，QLORA还引入了分页优化器（Paged Optimizers），以管理内存峰值，从而使得在单个GPU上微调大型模型成为可能。 通过QLORA，研究人员成功训练了名为Guanaco的模型系列，这些模型在Vicuna基准测试中表现出色，其中最大的模型达到了ChatGPT性能水平的99.3%，仅需在单个GPU上微调24小时即可达到这一水平。此外，QLORA的高效性使其能够在小型高质量数据集上实现最先进的结果，甚至在使用较小模型的情况下也能与以前的最先进模型相媲美。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值