书生浦语训练营第四次课笔记：XTuner 微调 LLM：1.8B、多模态、Agent

已于 2024-05-11 19:36:22 修改
阅读量516 收藏 3
点赞数 4
分类专栏： 大模型 文章标签： 笔记 人工智能 深度学习
于 2024-05-05 23:19:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37397652/article/details/138167851
版权

文章目录

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md

Finetune 简介

在这里插入图片描述
两种Finetune范式：增量预训练微调、指令跟随微调
在这里插入图片描述

微调数据集

在这里插入图片描述
在这里插入图片描述
上述是我们所期待模型回答的内容，在训练时损失的计算也是基于这个。
训练数据集看起来是这样，但是真正喂给模型的，是经过对话模板组装后的

下图中： <|System|>，|<User>|等对话模板
在这里插入图片描述
在这里插入图片描述
对话模板的作用：为了让大语言模型知道什么时候开始一段对话，什么时候结束一段对话。
在这里插入图片描述
在这里插入图片描述

微调方案 LoRA & QLoRA


LoRA: 通过在原本模型的Linear旁新增一个旁路分支Adapter（两个连续的小Linear层）。可以简单的理解LoRA文件就是两个层的参数保存下来的东西。

在这里插入图片描述
全参数微调：整个模型加载到显存中，所有模型参数的优化器也要加载到显存中。非常吃显存
LoRA微调：整个模型加载到显存中，对于参数优化器，只需要保存LoRA部分的参数优化器，大大减小了显存的占用。
QLoRA微调：把模型本身加载到显存中时，就已经是使用4bit量化的方式加载。从而由节省了显存开销。

XTuner 介绍

在这里插入图片描述
在这里插入图片描述
在不同量级的模型上，训练速度都是比LLaMa-Factory显著的更快
在这里插入图片描述
与LLaMa-Factory相比，同样是LLaMa2 70B超大参数量的模型，在不同的数据长度下，Xtuner的表现也是比LLaMa-Factory更好
在这里插入图片描述
XTunner对性能优化和显存优化做的更好！

8GB显存玩转LLM

在这里插入图片描述
有chat标记的模型是经过指令跟随微调后的模型，无chat就是基座模型
在这里插入图片描述
pack_to_max_length参数，比如说有一张24GB的显卡，如果不修改配置文件，只能占用8GB进行训练，20小时完成。这时就可以调整这个参数，使其占用满24GB
evaluation_inputs接受list，里面可以添加多个问题。
在这里插入图片描述

微调生成出来的结果是一个Adapter文件（保存QLoRA参数）
如果想与微调后的模型进行对话，则需要指定Adapter的路径

在这里插入图片描述
还支持工具类模型的调用

对于各种格式不一样的开源数据集，XTunner加载时写好了映射参数，可以自动变成统一的对话格式
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

InternLM2 1.8B 模型

在这里插入图片描述
Xtunner中内置的两种加速方式：Flash Attention、DeepSpeed ZeRO

在这里插入图片描述
在这里插入图片描述

多模态LLM微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LLaVA方案：文本问题+图片作为输入，文本回答作为输出

在这里插入图片描述
Finetune阶段是指令跟随阶段，可以让大模型了解到我们想问什么，从而根据我们的问题回答。
这个过程和之前所说的：增量预训练+指令微调类似
在这里插入图片描述

Pretrain阶段数据集：图片+描述

在这里插入图片描述
Finetune阶段的数据：不仅有问题描述图片，还有很多个关于图片的一问一答的问答对。

动手实战环节

在这里插入图片描述

在这里插入图片描述
没有经过Finetune，只经过Pretrain阶段的模型，只会对图片进行打标签
在这里插入图片描述
根据Finetune后会根据图像回答问题了

Kinno酱
关注
专栏目录
【 书生·浦语大模型实战营】作业（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 444
本篇为【 书生·浦语大模型实战营】作业（四）：XTuner 微调 LLM：1.8B、多模态、Agent的基础作业：训练自己的小助手认知，记录复现过程并截图。
【 书生·浦语大模型实战营】学习笔记（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 1698
本篇笔记内容主要为XTuner 微调 LLM。主要对微调概念、XTuner框架等进行详细介绍，并对多模态LLava1.8b进行模型训练微调、模型合并、对话测试实战，欢迎大家交流学习！
《书生·浦语大模型实战营》第4课 学习笔记：XTuner 微调 LLM:1.8B、多模态、Agent
shiter编写程序的艺术
06-11 726
我们可以通过下面这张图来简单了解一下 XTuner 的运行原理。环境安装：假如我们想要用 XTuner 这款简单易上手的微调工具包来对模型进行微调的话，那我们最最最先开始的第一步必然就是安装XTuner！安装基础的工具是一切的前提，只有安装了 XTuner 在我们本地后我们才能够去思考说具体怎么操作。前期准备：那在完成了安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，那我为了做到这个事情我有哪些硬件的资源和数据呢？
书生·浦语大模型实战营：XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45222417的博客
04-24 1758
使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识训练数据：文章、书籍、代码等。使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话、问答数据。LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。XTuner 一个大语言模型&多模态模型微调工具箱。两种Finetune范式。
书生·浦语大模型实战：XTuner 微调 LLM: 1.8B、多模态和 Agent（lesson 4）
weixin_39291058的博客
05-31 920
微调是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，使模型适应特定任务或领域。微调主要目的是，完成知识注入、指令对齐。在大模型应用中，指令微调已成为预训练大模型在实际业务应用最重要的方式。许多垂直领域模型，都是在预训练模型的基础上，通过针对性的指令微调，可以更好地适应最终任务和对齐用户偏好。
【InternLM实战营第二期笔记】04：XTuner 微调 LLM：1.8B、多模态、Agent
莉莉兹的摸鱼日记
06-04 829
这回学乖了，打开本节课第一件事先不看教程而是装环境~
书生浦语训练营2期-第四节课—XTuner微调LLM：1.8B多模态Agent实践笔记及作业
m0_55303420的博客
04-19 870
由在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！
书生·浦语大模型实战营 第四节课 XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45483762的博客
06-03 747
XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。高效支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型，同时也支持多节点跨设备微调更大尺度模型（70B+）。自动分发高性能算子（如 FlashAttention、Triton kernels 等）以加速训练吞吐。兼容DeepSpeed🚀，轻松应用各种 ZeRO 训练优化策略。灵活支持多种大语言模型，包括但不限于InternLMLlama 2ChatGLMQwen。
第四课：XTuner 微调 LLM：1.8B、多模态、Agent 学习笔记及作业
wudiyjnewway的博客
06-15 570
XTuner 微调 LLM：1.8B、多模态、Agent 学习笔记及作业
《书生·浦语大模型实战营》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》课程笔记
胡争辉
04-19 876
2024年3月开始参加《书生·浦语大模型实战营》 第一节课《书生·浦语大模型全链路开源体系》 第二节课《轻松玩转书生·浦语大模型趣味 Demo》 第三节课《茴香豆：搭建你的 RAG 智能助理》 第五节课《LMDeploy 量化部署 LLM 实践》 这是《书生·浦语大模型实战营》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》课程笔记 想利用底座模型应用到自己的特定领域当中，应用到一个特定的下游任务当中，表现是不如针对领域内训练的模型，所以需要进行领域内微调。
书生·浦语大模型（四）XTuner 微调 LLM：1.8B、多模态、Agent【理论笔记部分】
ww1132的博客
04-19 606
为什么要微调？把通用的基座模型通过微调，得到专业领域的模型。
书生·浦语（四）XTuner 微调 LLM：1.8B、多模态、Agent
ppyyds的博客
04-23 950
本次课程包括理论和实践两大部分，学习如何使用Xtuner微调大语言模型（LLM），比如1.8B参数的模型，以及为什么要微调大语言模型，微调模型的基本流程。：微调可以帮助模型在特定任务上表现得更好，如通过调整模型参数以更精确地对任务特有的特征进行建模，从而提高分类准确率、生成的质量或其他性能指标。文本单模态：首先使用文本Embedding模型对用户的输入文本，转化为文本向量，将文本向量预测输出文本。QLoRA 微调：模型本身加载到显存中的时候，就已经使用4bit量化的方式，不那么精确的方式加载。
【第4讲】XTuner 微调 LLM:1.8B、多模态、Agent
熊猫小妖的AI世界
04-22 725
视频教程文档连接作业xtuner官网基础作业（结营必做）训练自己的小助手认知（记录复现过程并截图）进阶作业将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab（优秀学员必做）复现多模态微调（优秀学员必做）- 2 种不同训练范式- 数据处理的一般过程原始数据 -> 标注格式数据 -> 添加对话模板 -> tokenized数据 ->添加label -> 开始训练(1) 标准格式数据（2）添加对话模板对话模板有3种角色：（3）微调方案XTuner 的运行原理。
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1758
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
Go Wails 学习笔记：创建第一个项目
程序媛平平无奇的一天
10-14 1128
Wails 通过结合前端技术和 Go 后端，提供了一个高效的方式来开发跨平台的桌面应用。其简单的项目初始化和清晰的结构使得开发者能够快速上手。通过 Wails，可以充分利用 Web 开发技能，同时获得原生桌面应用的优势。
贪心算法笔记
qq_45190745的博客
10-15 242
贪心算法笔记
《vue leaflet学习实践笔记》
yk_ddm的博客
10-16 183
目录vue leaflet学习实践笔记 vue leaflet学习实践笔记
stm32单片机个人学习笔记9（TIM输入捕获）
2302_80867398的博客
10-13 304
从模式选择Reset模式可以实现自动清零计数器CNT。
【Petri网导论学习笔记】Petri网导论入门学习（五）—— 1.3 库所/变迁系统与加权Petri网
最新发布
TanYC的博客
10-18 658
六元组ΣST;FKWM称为一个库所/变迁系统(place/transition system)，其中1 )ST;F( S, T;F)ST;F是一个网，WF→123⋯WF→123⋯称为权函数(weighted function)KS→123⋯KS→123⋯称为容量函数(capacity function)MS→012⋯MS→012⋯是Σ。
LLM驱动的电商多模态推荐系统：实战与噪声治理
"本篇文章探讨了在电商领域如何利用大语言模型（LLMs）来优化多模态内容推荐系统。随着推荐系统的数据稀疏性问题日益突出，传统的推荐策略如亚马逊和网飞通过引入侧信息（side information）来提高推荐精度，但这也...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值