第四节课——XTuner 微调 LLM:1.8B、多模态、Agent（笔记+作业）

最新推荐文章于 2024-11-14 08:20:05 发布
最新推荐文章于 2024-11-14 08:20:05 发布
阅读量360 收藏 3
点赞数 4
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42866802/article/details/139524386
版权

课堂笔记

Finetune简介

两种Finetune范式

LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。

两种范式的举例

一条数据的一生

微调方案LoRA & QLORA

LLM的参数量主要集中在模型中的Linear，训练这些参数会耗费大量的显存。

LoRA通过在原本的Linear旁，新增一个支路，包含两个连续的小Linear，新增的这个支路通常叫做Adapter。

Adapter参数量远小于原本的Linear，能大幅降低训练的显存消耗。

XTuner介绍

XTuner微调框架，是一个打包好的大模型微调工具箱。

功能亮点：

与LLaMa-Factory的横向对比：

XTuner快速上手

XTuner还支持工具类模型的对话，更多详见HuggingFace Hub(xtuner/.lama-2-7b-glora-moss-O03-sft)

数据处理流程

多数据样本拼接

8GB显存玩转LLM

Flash Attention和DeepSpeed ZeRO是XTuner最重要的两个优化技巧

优化前与优化后的比较

InternLM21.8B模型

多模态LLM微调        

给LLM装上电子眼：多模态LLM原理简介

什么型号的电子眼：LLaVA方案简介

作业——训练自己的小助手认知

常规训练

300轮训练结果

600轮训练结果

704轮训练结果

但是训练出来的数据格式是pytorch格式的，因此需要将其转化为更常见的Huggingface格式

格式转化成功：

在 XTuner 中也是提供了一键整合的指令：

可以看到模型已经严重过拟合，回复的话就只有 “我是xx大佬的小助手，内在是上海AI实验室书生·浦语的1.8B大模型哦” 这句话，可以很明显的看出与原模型的差异。

Web demo 部署

木子ikey
关注
【第4讲】XTuner 微调 LLM:1.8B、多模态、Agent
熊猫小妖的AI世界
04-22 751
视频教程文档连接作业xtuner官网基础作业（结营必做）训练自己的小助手认知（记录复现过程并截图）进阶作业将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab（优秀学员必做）复现多模态微调（优秀学员必做）- 2 种不同训练范式- 数据处理的一般过程原始数据 -> 标注格式数据 -> 添加对话模板 -> tokenized数据 ->添加label -> 开始训练(1) 标准格式数据（2）添加对话模板对话模板有3种角色：（3）微调方案XTuner 的运行原理。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 1017
书生浦语LLM大模型教程
OpenAI最新模型来了！什么是GPT-4o？如何开启GPT-4o教程！
youmaob的博客
05-15 1905
5月13日上午10点，OpenAI发布了GPT-4的迭代版本，GPT-4o。GPT-4o (“o” for “omni”)，意思是更全能。免费给所有人使用，功能方面速度大幅度提升，处理文字、图片、语音会更快反应出来，GPT-4o 支持50种语言，可以进行实时语言同声翻译，还可以通过摄像头识别人类表情和情绪，并且通过语音来表达，GPT-4o不管是在语音、视觉功能上算得上目前最高模型的水平了。
第五节课《XTuner 微调 LLM：1.8B、多模态和 Agent》学习笔记
weixin_59512778的博客
04-21 1063
Q：首先我们要清楚为什么要进行微调？A：目前很多大语言模型其实都是底座模型（foundation model），为普遍的（一般性的）任务而进行预训练，将这类模型应用到特定领域，其表现不如领域内训练的模型，因此要进行领域内微调。
第四节课《XTuner 微调 LLM：1.8B、多模态、Agent》
fanre的专栏
04-30 1162
为什么微调？基础模型不能满足特定领域需求。增量预训练：简单的增加新的知识指令跟随：问答的形式，学会人类指令。基座模型只是单纯的拟合训练数空间分布，无法意识到输入是一个问题，返回一个类似于最相似的结果，如上图test。指令微调输入的是一问一答的聊天，可以理解输入的是问题。一条数据的一生原始数据：如爬虫得来的标准格式数据：训练模型能接受的输入XTuner中json形式为了让大语言模型能够区分出三种角色，实际上就是增加标注，并且在实际训练的时候还要增加其实标识符。Token方案：LoRA和QLoRA。
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1266
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
第四课-XTuner 微调 LLM：1.8B、多模态、Agent笔记
weixin_51314534的博客
04-20 587
在本节中，我们将 自己构造<questiontext><image><answer text>数据对,基于InternLM2 chat 1.8B这个文本单模态模型，使用LLaVA方案训练一个给InternLM2 Chat 1.8B使用的lmage Projector文件。除了将训练中间状态切片外，DeepSpeed 训练时使用 FP16 的权重，相较于 Pvtorch 的 AMP 训练在单 GPU 上也能大幅节省显存。使用场景:让模型学会对话模板，根据人类指令进行对话训练数据:高质量的对话、问答数据。
书生浦语训练营2期-第四节课—XTuner微调LLM：1.8B多模态Agent实践笔记及作业
m0_55303420的博客
04-19 896
由在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！
浦语学习笔记第三章——XTuner 微调 LLM：1.8B、多模态、Agent
2401_83572169的博客
06-28 505
首先为什么要微调呢？现在的大模型大多数都是“foundation”模型，是非常泛化的，它们在众多专业领域的表现是不如我们微调之后的模型的，所以微调其实就是将一个泛型化的大模型调整成为一个更适用于某个专业领域的专用大模型。两种常用的微调范式：增量预训练和指令跟随。增量预训练微调主要是为了让一个模型学到一些新知识，如某个垂类领域的知识，训练数据通常为文章，书籍，代码等等，不需要标注。而指令跟随微调是为了让模型学会对话模板，根据人类指令进行对话，常用数据为高质量的对话和问答数据，需要标注。
第四课课程笔记 XTuner 微调 LLM：1.8B、多模态、Agent
weixin_44555688的博客
04-18 485
为什么要微调？提升基座模型在特定领域内的性能两种finetune范式增量预训练指令跟随微调。训练数据为高质量对话。没有经过指令微调的模型，不一定会对话一条数据的一生user/input部分为数据输入，bot/output为数据输出标签不同厂家有不同的对话模板未来让模型知道什么时候开始，什么时候结束System、User、Assistant三种角色微调方案。Xtuner用两种LORA、QLORA训练出新增支路adapter，减少显存开销。
XTuner 微调 LLM：1.8B、多模态、Agent——作业
YYYYbhjbhkv_的博客
04-21 1037
XTuner 微调 LLM：1.8B、多模态、Agent——作业一、基础作业1.1、训练自己的小助手认知1.1.1、环境安装1.1.2、数据集准备1.1.3、模型准备1.1.4、配置文件选择1.1.5、常规训练1.1.6、加速训练1.1.7、模型转换1.1.8、模型结合1.1.9、对话测试1.1.10、 Web demo 部署二、进阶作业2.1、将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab2.1.1、 克隆空仓库：2.1.2、使用 git lfs track 标记文件2.1.3
书生·浦语大模型（四）XTuner 微调 LLM：1.8B、多模态、Agent【理论笔记部分】
ww1132的博客
04-19 642
为什么要微调？把通用的基座模型通过微调，得到专业领域的模型。
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 1830
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
多模态大模型：技术原理与实战 微调技术介绍
AI天才研究院
07-04 762
随着深度学习技术的飞速发展，大型预训练模型已经成为人工智能领域的基石。这些模型，如BERT、GPT、DETR等，通常在大规模文本数据集上进行预训练，然后根据具体任务进行微调。然而，随着多模态信息的重要性日益凸显，仅依赖文本信息的模型已不足以满足许多实际应用的需求。因此，多模态大模型应运而生，它们能够在视觉、听觉、文本等多个模态间进行信息融合和交互，为跨模态任务提供更全面、更有效的解决方案。预训练：在大规模数据集上进行预训练，构建多模态特征表示。模型选择。
Window.history API学习笔记
常备不懈
11-12 630
在现代前端开发中，单页应用（SPA）的流行让我们对于页面的浏览历史管理需求愈加明显。`window.history` API作为浏览器提供的原生API，能够帮助开发者更加细致地控制用户的导航体验。本文将介绍`window.history` API的几个常见方法，并探讨它们的使用场景。
Spring学习笔记_32——事务TransactionStatus接口
LuckyLay的博客
11-12 293
TransactionStatus是Spring框架中用于表示事务状态的一个关键接口。它提供了一系列方法来查询和控制事务的执行状态，对于编程式事务管理尤为重要。TransactionStatus接口主要用来存储事务执行的状态，并且接口中定义了一组方法，用来判断或者读取事务的状态信息，
QT开发笔记之小知识
ZaiLuShang2121的博客
11-12 331
QT学习笔记 小知识点
计算机网络详细笔记【湖科大教书匠，内含B站链接】
最新发布
qq_25467441的博客
11-14 218
https://blog.csdn.net/weixin_45488428/article/details/115102326?ops_request_misc=%257B%2522request%255Fid%2522%253A%252228292A6B-6BE1-4A80-BEA2-234F3AA87798%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=28292A6B-6BE1-4A80-BEA2-2
Python 类私化有笔记
Katherine1029的博客
11-12 184
在开发中看到的一些私有化处理，装饰器@property，可以将私有化改成和非私有化一样的调用。#封装：1.私有化属性部分;2.定义共有的set和get方法。#__属性：就是将属性私有化，访问范围仅仅限于类中。2.也可以修改：通过set方法修改。1.隐藏属性不被外界修改。
LLM研究挑战：幻觉、多模态与GPU替代
当前大语言模型（LLM）研究面临着一系列关键挑战，这些问题对于推动技术进步和确保模型的实际应用至关重要。以下是从给出的文档中提炼出的十个主要挑战： 1. **减少和评估输出幻觉（Hallucinations）**：这是大语言...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值