ch4-XTuner大模型单卡低成本微调实战

最新推荐文章于 2024-06-30 16:10:31 发布
最新推荐文章于 2024-06-30 16:10:31 发布
阅读量339 收藏 9
点赞数 12
分类专栏： 大模型 书生浦语 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fangsfdavid/article/details/136107526
版权
本文介绍了XTuner，一个易于使用的语言模型微调工具，支持8GB显存下的低成本微调，包括指令微调、增量预训练以及LoRA和QLoRA技术，适合非专业人士快速入门。附有视频教程和课程文档链接。
摘要由CSDN通过智能技术生成

ch4-XTuner大模型单卡低成本微调实战

主要内容

  • 视频网址：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=b96c7e6e6d1a48e73edafa36a36f1697
  • 课程文档：https://github.com/internLM/tutorial

本节课主要介绍了XTuner的基本功能和入门使用，XTuner是一个大语言模型微调工具箱，由MMRazor和MMDeploy联合开发。

  • 🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。
  • 🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅

课程主要内容如下：
请添加图片描述

Finetune简介

请添加图片描述

指令微调：

请添加图片描述

请添加图片描述
请添加图片描述
请添加图片描述

增量预训练微调

请添加图片描述
不需要问题，只需要回答，都是陈述句，只有output部分

LoRA&QLoRA

请添加图片描述
请添加图片描述

Xtuner请添加图片描述

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

请添加图片描述

8GB

请添加图片描述
请添加图片描述
请添加图片描述

动手实战

详见下篇博客课程作业完成情况~

花生david
关注
  • 12
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ch4-homework-基于Xtuner的大模型单卡低成本微调作业
fangsfdavid的博客
02-14 879
基本思路：整个微调流程跟上面其实是一样的，只是训练的数据集需要自己搞定一下，这个参考一下教程的自定义数据集微调部分或者案例https://github.com/InternLM/tutorial/blob/main/xtuner/self.md所提到的即可，生成相应的。构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要。运行之后，同样会先加载模型，需要几分钟时间，后面就可以愉快的开始对话了~
CH4 - 流程控制-单元测试 （头歌）
Molly 的博客
03-15 1599
第1关：ch4 流程控制-单元测试-基础 第2关：ch4 流程控制-单元测试-提高 第3关：ch4 流程控制-单元测试-进阶
Paddle-OCR根据垂直类场景自定义数据微调PP-OCRv4模型
mingo_敏
11-15 4764
除上述单张图像为一行格式之外，PaddleOCR也支持对离线增广后的数据进行训练，为了防止相同样本在同一个batch中被多次采样，我们可以将相同标签对应的图片路径写在一行中，以列表的形式给出，在训练中，PaddleOCR会随机选择列表中的一张图片进行训练。需要提供一个自定义字典（{word_dict_name}.txt），使模型在训练时，可以将所有出现的字符映射为字典的索引。，在训练的时候，对于该行标注，会随机选择其中的一张图片进行训练。字段下的路径和文件里记载的图片名构成了图片的绝对路径。
CH4-程序活动单元Activity
weixin_46227276的博客
02-28 4414
文章目录目标一、Activity的生命周期目标1.1 生命周期状态1.2 生命周期方法二、Activity的创建、配置、启动和关闭目标2.1 创建Activity2.2 配置Activity2.3 启动和关闭Activity三、Intent与IntentFilter目标3.1 Intent显式意图隐式意图3.2 IntentFilter（1）action属性匹配规则（2）data属性匹配规则（3）category属性匹配规则四、Activity之间的跳转目标4.1 数据传递使用Intent的putExtra
CH4-网络营销战略.pptx
04-12
CH4-网络营销战略.pptx
ch4-Threads.ppt
01-03
ch4-Threads.ppt
web程序设计课件CH4-ASP内置对象.ppt
09-18
web程序设计课件CH4-ASP内置对
IPv6技术系列-CH4-MobileIPv6andQoS.docx
10-13
IPv6技术系列——移动IPv6与服务质量（QoS）整合 在互联网协议版本6（IPv6）的环境中，移动IPv6（Mobile IPv6，MIPv6）允许设备（称为移动节点，MN）在不改变其IP地址的情况下在不同网络之间移动，确保通信的连续性...
CH4--程序示例.sql
11-08
CH4--程序示例.sql
昇思25天学习打卡营第2天|张量学习
main_h_的博客
06-26 814
张量是一种特殊的数据结构，主要是描述矩阵 行列式这类。张量（Tensor）是MindSpore网络运算中的基本数据结构，类似日常的多维数组，不过比基础的数组多了一些描述信息。
clion调试opencv程序时，查看内存中图像的方法
yangpan011的博客
06-25 678
clion调试opencv程序时，查看内存中图像的方法
衣服、帽子、鞋子相关深度学习数据集大合集（1）
weixin_44906759的博客
06-29 914
最近收集了一大波关于衣物深度学习数据集，主要有衣服、帽子、鞋子、短裤、短袖、T恤等。
视觉分割的定义与性能度量
ChuanhuaYu的博客
06-26 936
整理了图像与视频中的一些分割任务的定义和任务需求，同时给出了对这类任务的模型性能的度量方法。
聚观早报 | 真我GT6官宣；iQOO 13参数细节曝光
Juguan365的博客
06-26 1260
聚观早报每日整理最值得关注的行业重点事件，帮助大家及时了解最新行业动态，每日读报，就读聚观365资讯简报。整理丨Cutie6月26日消息真我GT6官宣iQOO 13参数细节曝光苹果iPadOS 18 Beta 2更新一加Ace 3 Pro散热细节曝光亚马逊秘密研发聊天机器人Metis。
【乐器识别系统】图像识别+人工智能+深度学习+Python+TensorFlow+卷积神经网络+模型训练
最新发布
子午的博客
06-30 348
乐器识别系统。
AI大模型企业应用实战(25)-为Langchain Agent添加记忆功能
JavaEdge全是干货的技术号
06-26 485
在开发复杂的AI应用时,赋予Agent记忆能力是一个关键步骤。这不仅能提高Agent的性能,还能使其在多轮对话中保持上下文连贯性。本文将详细介绍如何在Langchain框架中为Agent添加记忆功能,并深入解析每个步骤的原理和最佳实践。tools,llm,: 这种Agent类型特别适合使用OpenAI的function calling特性。: 启用详细输出,有助于调试。: 自动处理解析错误,提高Agent的稳定性。: 将我们之前定义的记忆组件传递给Agent。
【AI】DeepStream(12)：三维动作识别 deepstream-3d-action-recognition-示例演示
郭老二
06-26 177
DeepStream还可以分析视频帧序列，来识别视频中的动作。示例参见：/opt/nvidia/deepstream/deepstream/sources/apps/sample_apps/deepstream-3d-action-recognition。
YOLO目标检测综述（2024.6月最新！）
qq_45591302的博客
06-27 900
目标检测算法，这类检测算法将检测问题划分为两个阶段，第一个阶段首先产生候选区域（Region Proposals），包含目标大概的位置信息，然后第二个阶段对候选区域进行分类和位置精修，这类算法的典型代表有R-CNN，Fast R-CNN，Faster R-CNN等。不过，随着研究的发展，两类算法都在两个方面做改进，均能在准确度以及速度上取得较好的结果。与以往的版本相比，YOLOv5引入了新的网络架构，以及一种新的训练方法，使用更大的数据集和更长的训练时间，从而提高了算法的性能。可以追溯到20世纪80年代。
GPIO_InitStructure.GPIO_Pin = GPIO_Pin_8 | GPIO_Pin_9| GPIO_Pin_10 | GPIO_Pin_11; //CH1--A8 CH2--A9 CH3--A10 CH4-A11 GPIO_InitStructure.GPIO_Mode = GPIO_Mode_AF_PP; //复用推挽输出 CH1N-B13 CH2N-B14 CH3N-B15 BKIN-B12 GPIO_InitStructure.GPIO_Speed = GPIO_Speed_50MHz; GPIO_Init(GPIOA, &GPIO_InitStructure);
07-25
这段代码是用来初始化和配置GPIOA引脚的特定引脚（GPIO_Pin_8、GPIO_Pin_9、GPIO_Pin_10和GPIO_Pin_11）的工作模式、速度等属性。 首先，通过`GPIO_InitStructure.GPIO_Pin`将要初始化或配置的引脚设置为GPIO_Pin_8、GPIO_Pin_9、GPIO_Pin_10和GPIO_Pin_11，即A8、A9、A10和A11引脚。这里使用了按位或操作符`|`来组合多个引脚。 然后，`GPIO_InitStructure.GPIO_Mode`被设置为`GPIO_Mode_AF_PP`，表示这些引脚将被配置为复用推挽输出模式。复用推挽输出模式意味着引脚既可以作为输出端口，也可以作为复用功能的引脚。 接下来，`GPIO_InitStructure.GPIO_Speed`被设置为`GPIO_Speed_50MHz`，表示配置这些引脚的工作速度为50MHz。 最后，通过调用`GPIO_Init(GPIOA, &GPIO_InitStructure)`函数来将以上配置应用到GPIOA引脚上。这样就完成了对GPIOA引脚的初始化和配置操作。 需要注意的是，除了以上的配置，还需要根据具体需求进行其他相关的初始化操作，例如配置引脚的上下拉电阻、输出类型等。具体的配置和使用方法可以参考STM32单片机的相关文档或开发库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值