第四课课程笔记 XTuner 微调 LLM：1.8B、多模态、Agent

最新推荐文章于 2024-07-18 11:32:06 发布
最新推荐文章于 2024-07-18 11:32:06 发布
阅读量413 收藏 6
点赞数 5
文章标签： 笔记 语言模型 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44555688/article/details/137916347
版权

讲座链接
实践文档

Finetune 简介

  • 为什么要微调？
    • 提升基座模型在特定领域内的性能
  • 两种finetune范式
    • 增量预训练
    • 指令跟随微调。训练数据为高质量对话。
    • image.png
    • 没有经过指令微调的模型，不一定会对话
    • image.png
  • 一条数据的一生
    • user/input部分为数据输入，bot/output为数据输出标签
    • image.png
    • 不同厂家有不同的对话模板
      • 未来让模型知道什么时候开始，什么时候结束
      • System、User、Assistant三种角色
      • image.png
  • 微调方案。Xtuner用两种LORA、QLORA
    • LORA：训练出新增支路adapter，减少显存开销
    • 保存的是Adapter文件
    • image.png
    • 三种方式的对比
      | 全参数微调 | LORA | QLORA |
      | — | — | — |
      | 显存要求高 | 节省显存开销 | 进一步节省显存开销 |
      | | | |

image.png

XTuner介绍

打包好的大模型微调工具箱。

  • 以配置文件的形式封装大部分场景。
  • 7B参数量的LLM只需要8GB显存。
  • 适配多种生态。

image.png

  • 与LLaMa-Factory对比
    • XTuner显著更快
    • XT兼容性显著更好
    • XT显存优化更好
  • XTuner快速上手
    • 安装、修改配置文件、微调训练、对话
    • 常用的超参都是config文件中
    • 支持工具类模型对话，比如联网检索、计算器、解方程
  • XTuner数据引擎
    • 数据集映射函数。可以将不同格式的开源数据集，映射为统一的格式，方便跑通。（类似YOLO转COCO）
    • 多数据样本拼接。增加并行性，高效利用GPU资源，节约时间。（类似提高batchsize）

8GB显存玩转LLM

内置的两种加速方式：Flash Attention（默认自动开启），DeepSpeed ZeRO（需要指定开启）。操作简单，终端命令一行就行，可以大幅降低训练成本。
image.png
image.png

InternLM2 1.8B模型

三个版本：1.8B，Chat-1.8B-SFT，Chat-1.8B

  • 4GB可推理；8GB可微调

image.png

多模态LLM微调

多模态LLM原理简介、LLaVA方案简介、快速上手

  • 原理简介
    • 多了一个image projector分支

image.png

  • 方案：LLaVA
    • 输入 文本提问+图片
    • 输出 文本结果
    • 训练出 Image projector
    • 单模态LLM + Image projector，实现多模态功能

image.png

  • Image projector增加LLM视觉能力
  • LORA Adpater赋予LLM新的角色

image.png

  • 快速上手
    • Image projector的训练过程分为pretain和finetune两阶段，类似增量预训练（大量数据）和指令微调（高质量的数据）两阶段。

Agent

_Y_M_Y_
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
【第4讲】XTuner 微调 LLM:1.8B、多模态、Agent
熊猫小妖的AI世界
04-22 633
视频教程文档连接作业xtuner官网基础作业（结营必做）训练自己的小助手认知（记录复现过程并截图）进阶作业将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab（优秀学员必做）复现多模态微调（优秀学员必做）- 2 种不同训练范式- 数据处理的一般过程原始数据 -> 标注格式数据 -> 添加对话模板 -> tokenized数据 ->添加label -> 开始训练(1) 标准格式数据（2）添加对话模板对话模板有3种角色：（3）微调方案XTuner 的运行原理。
书生·浦语大模型全链路开源体系（LLM/AGENT/多模态/应用部署）从入门到精通
熊猫小妖的AI世界
04-17 927
书生浦语LLM大模型教程
七月论文审稿GPT第4版：通过paper-review数据集微调Mixtral-8x7b，对GPT4胜率超过80%
结构之法 算法之道
03-28 3409
解决方案：训练时使用了--quantization_bit 4 和 --flash_attn True，这里也要使用统一的才行。有些得单独版本对齐，本人使用的是cuda11.8。更多见七月的《大模型商用项目审稿GPT微调实战》推理所需显存为34318MiB。
书生浦语大模型实战营第二期 第四次课笔记
SunInCrack的博客
04-24 1849
本节内容涉及XTuner完整流程，包括数据集和模型使用、配置文件制作、训练、转换及整合。
【LLM大模型】介绍一个大语言模型的微调框架Swift
最新发布
2301_81940605的博客
07-18 781
微调（Fine-tuning）是指在已经预训练好的大语言模型基础上，使用特定领域或任务的数据集进行进一步的训练，使模型能够更好地适应并完成该领域或任务的具体要求。预训练的大语言模型通常在大规模通用语料库上进行训练，学习了语言的普遍规律和特征，但对于特定领域或任务的专业知识和特定需求，往往需要通过微调来优化。
Llama 3 图片理解能力微调（XTuner+LLaVA 版）实践笔记
weixin_48567408的博客
05-05 789
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。
书生·浦语大模型（四）XTuner 微调 LLM：1.8B、多模态、Agent【理论笔记部分】
ww1132的博客
04-19 565
为什么要微调？把通用的基座模型通过微调，得到专业领域的模型。
XTuner 大模型单卡低成本微调实战笔记
qq_45607888的博客
01-11 985
大语言模型是在海量的文本内容基础上，以无监督或半监督方式进行训练的，海量的文本内容赋予了大模型各种各样的行业知识，但是如果直接把大模型的知识用于生产实践，会发现回答不大满意，微调的目的就是让LLM在具体的场景或领域中能够得到更好的回答。常用微调模式：增量预训练和指令跟随增量预训练：给模型投喂一些新的知识，新知识是目标领域的文本内容，经过新知识学习，模型即可获得该领域更好的效果。使用场景: 让基座模型学习到一些新知识，如某个垂类领域的常识训练数据:文章、书籍、代码等指令跟随微调。
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
丨汀、的博客
04-30 326
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
程序员光剑
07-04 1373
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
多模态大模型：技术原理与实战 微调技术介绍
程序员光剑
07-04 734
随着深度学习技术的飞速发展，大型预训练模型已经成为人工智能领域的基石。这些模型，如BERT、GPT、DETR等，通常在大规模文本数据集上进行预训练，然后根据具体任务进行微调。然而，随着多模态信息的重要性日益凸显，仅依赖文本信息的模型已不足以满足许多实际应用的需求。因此，多模态大模型应运而生，它们能够在视觉、听觉、文本等多个模态间进行信息融合和交互，为跨模态任务提供更全面、更有效的解决方案。预训练：在大规模数据集上进行预训练，构建多模态特征表示。模型选择。
Llama3-Tutorial之XTuner微调Llama3图片理解多模态
lldhsds的专栏
05-07 588
在训练好之后，我们将原始image projector和我们微调得到的image projector都转换为 HuggingFace 格式，为了下面的效果体验做准备。基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。我们接下来准备 Llava 所需要的 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重。中的教程来准备微调数据。
Llama3小白自学路（三、llama3图片能力微调）
不负韶华不负己
05-12 1221
前部分依旧是技术流的教程copy及相关笔记。但说实话，在复现这一部分中，遇到了很多问题，后面的QA我会把遇到的进行记录。课程背景是XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型。然后机智流带领我们基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调多模态图文理解模型 LLaVA。LLaVA模型，即文本单模型LLM和训练出来的Image Projector的组合。LLaVA构建训练阶段。
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 2719
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1179
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
llm3实践教程（InternStudio 版）-笔记
akandfxs
04-26 598
环境配置下载模型Web Demo 部署坑：1、我本地之前link过，路径不对。2、路径对了可能不需要改代码：搞定后。
24G显存 微调 Llama3 图片理解多模态
qq_42137576的博客
05-09 1457
本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为[InternStudio](https://studio.intern-ai.org.cn/)，实验所用的显存为24G。
Llama 3 五一超级课堂 笔记 ==＞ 第三节、Llama 3 图片理解能力微调（XTuner+LLaVA 版）
weixin_49477258的博客
05-09 587
Llama 3 图片理解能力微调（XTuner+LLaVA 版）
【InternLM 实战营第二期笔记04】XTuner微调LLM:1.8B、多模态、Agent
qq_74261455的博客
04-19 1160
XTuner是一款功能强大的软件，其设计旨在提供灵活且高效的微调策略与算法，以满足各类场景下的应用需求。其主要功能亮点体现在多个方面：首先，XTuner支持多种微调算法，无论是InternLM、Llama、Gemma，还是Mistral等，都能找到相应的优化策略。这种多样化的算法支持使得XTuner可以覆盖更广泛的场景，从而为用户提供更多的选择。其次，XTuner能够适配多种开源生态，如HuggingFace和ModelScope等。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值