XTuner微调LLM：1.8B，多模态和Agent

最新推荐文章于 2025-01-27 11:25:02 发布
最新推荐文章于 2025-01-27 11:25:02 发布
阅读量777 收藏 6
点赞数 8
文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83218582/article/details/137977405
版权

一.Finetune

 1.为什么要微调？

2.两种微调范式

增量预训练微调，指令跟随微调

3.微调的两种方式：LoRA和QLoRA

二.XTuner

零基础非专业人员也能一键开始微调

微调所需的最小显存仅为8

与LLaMa-Factory相比：

安装：pip install xtuner
挑选配置模板：xtuner list-cfg-p internlm_20b
一键训练：xtuner train internlm_20b_qlora_oasst1_512_e3
拷贝配置模板： xtuner copy-cfg internlm_20b_qlora_oasst1_512_e3 ./
修改配置模板：vim internlm_20b_qlora_oasst1_512_

最低0.47元/天 解锁文章
【第4讲】XTuner 微调 LLM:1.8B、多模态、Agent
熊猫小妖的AI世界
04-22 801
视频教程文档连接作业xtuner官网基础作业（结营必做）训练自己的小助手认知（记录复现过程并截图）进阶作业将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab（优秀学员必做）复现多模态微调（优秀学员必做）- 2 种不同训练范式- 数据处理的一般过程原始数据 -> 标注格式数据 -> 添加对话模板 -> tokenized数据 ->添加label -> 开始训练(1) 标准格式数据（2）添加对话模板对话模板有3种角色：（3）微调方案XTuner 的运行原理。
【 书生·浦语大模型实战营】作业（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 502
本篇为【 书生·浦语大模型实战营】作业（四）：XTuner 微调 LLM：1.8B、多模态、Agent的基础作业：训练自己的小助手认知，记录复现过程并截图。
[书生浦语] 大模型实战：XTuner 微调 LLM : 1.8B
mycomin的博客
05-30 1124
在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！
第二期书生浦语大模型实战营第四次作业
2401_83218582的博客
04-19 927
首先我们需要先安装一个 XTuner 的源码到本地来方便后续的使用假如大家存储空间不足，我们也可以通过以下代码一键通过符号链接的方式链接到模型文件，这样既节省了空间，也便于管理。# 删除/root/ft/model目录# 创建符号链接执行上述操作后，将直接成为一个符号链接，这个链接指向的位置。这意味着，当我们访问时，实际上就是在访问目录下的内容。通过这种方式，我们无需复制任何数据，就可以直接利用现有的模型文件进行后续的微调操作，从而节省存储空间并简化文件管理。
书生·浦语大模型（四）XTuner 微调 LLM：1.8B、多模态、Agent【理论笔记部分】
ww1132的博客
04-19 687
为什么要微调？把通用的基座模型通过微调，得到专业领域的模型。
第四课：【XTuner 微调个人小助手认知】笔记
qq_44407313的博客
04-19 963
q1:为什么要微调？A:目前现有模型都是基座模型，是为了一般性任务进行预训练，运用于实际特定领域效果不佳，需要进行领域内微调q2:两种Finetune范式：A2:增量预训练微调：基座模型学习新知识（文章、书籍、代码）指令跟随微调：模型学会对话模板，根据人类质量进行对话（高质量对话，问答数据）高质量标注原始数据——>改为标准格式数据——>添加对话模板——>Tokenized数据——>添加Label——>开始训练标准数据格式添加对话模板，不同厂家有不同的模板。
XTuner 微调 LLM：1.8B、多模态、Agent（InternLM 实战营第4次笔记）
m0_65597091的博客
04-24 350
为什么要微调？因为将底座模型应用到某些特定任务下，需要微调。
第四课课程笔记 XTuner 微调 LLM：1.8B、多模态、Agent
weixin_44555688的博客
04-18 517
为什么要微调？提升基座模型在特定领域内的性能两种finetune范式增量预训练指令跟随微调。训练数据为高质量对话。没有经过指令微调的模型，不一定会对话一条数据的一生user/input部分为数据输入，bot/output为数据输出标签不同厂家有不同的对话模板未来让模型知道什么时候开始，什么时候结束System、User、Assistant三种角色微调方案。Xtuner用两种LORA、QLORA训练出新增支路adapter，减少显存开销。
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1316
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了 ！！ XTuner 微调 Llama3 图片理解多模态
段智华的博客
04-23 220
书生·浦语大模型实战营之 火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)
书生浦语大模型实战营第二期第四次课
m0_73941645的博客
05-12 636
傻瓜式，上手难度低轻量级，对于7B参数量的LLM，微调需要的最小显存仅为8GBXTuner训练速度在不同的量级的模型上训练速度都显著高于LLaMa-Factory在不同参数长度下，无论是兼容性、性能优化、显存优化等方面XTuner都更具优势。
【InternLM实战营第二期笔记】04：XTuner 微调 LLM：1.8B、多模态、Agent
莉莉兹的摸鱼日记
06-04 872
这回学乖了，打开本节课第一件事先不看教程而是装环境~
YOLOv11-ultralytics-8.3.67部分代码阅读笔记-transformer.py
红色的山茶花's博客
01-27 379
【代码】YOLOv11-ultralytics-8.3.67部分代码阅读笔记-transformer.py。
攻防世界bad_python
2402_87431173的博客
01-25 314
文件名pyre.cpython-36.pyc，说明是在python3.6环境下编译的，要把pyc反编译成py但是显示失败了，结合题的名字文件的应该是文件头部被破坏把第一行改为33 0D 0D 0A 0C 63 4A 63 61 02 00 00 E3 00 00 00之后就能反编译了，得到源码如下 由此得到解密代码： 得到：flag{Th1s_1s_A_Easy_Pyth0n__R3veRse_0}
《CPython Internals》阅读笔记：p336-p352
codists的博客
01-23 480
GDB 是 GNU Dbugger 的缩写。(1)安装(2)创建 .gdbinit 文件(3)配置 .gdbinit 文件注：1./project/cpython 为 cpython 所在的目录。(4)设置断点GDB的使用可以参考书籍《Debugging with GDB》或者在线手册。无。关于英语的注解同步更新汇总到 https://github.com/codists/English-In-CS-Books 仓库。
Python 数据清洗与处理常用方法全解析
最新发布
weixin_62375676的博客
01-27 286
在数据处理与分析过程中，缺失值、重复值、异常值等问题是常见的挑战。本文总结了多种数据清洗与处理方法：缺失值处理包括删除缺失值、固定值填充、前后向填充以及删除缺失率高的列；重复值处理通过删除或标记重复项解决数据冗余问题；异常值处理采用替换或标记方法控制数据质量；数据类型转换确保数据格式符合分析需求，例如转换为整数或日期类型；文本清洗包括去空格、字符替换及转换大小写等操作。此外，还介绍了数据分组统计、数据分箱与标准化的应用。例如，分组统计可按列求均值，数据分箱能为连续变量赋予分类标签，而归一化则通过压缩数据范围
Python毕业设计选题：基于django+vue的二手电子设备交易平台设计与开发
m0_74825718的博客
01-17 2032
虽然我在前三年内学习过许多和计算机相关课程，从基础的Python语言到数据库语言等等，但都只是了解了这些课程的皮毛，对理论知识仅仅停留在书本上，对知识的掌握程度还不够深入，不能进行实际的编程设计开发，距离自己真正开发设计一款软件项目还是有一定的距离的，更别提应用到企业项目的设计开发中去了。首先对项目提出可行性分析，在分析完其经济，技术，操作方面的可行性之后，准备相应的计算机软硬件开发配置，然后对其进行具体的功能需求分析，设计好相应的数据库，接下来就是进行系统的详细设计了；进行详细的设计，实现主要功能。
安装线程自由（无GIL锁）Python及Pytorch方法
m0_37340681的博客
01-22 470
截至当前（2025.1.22），最新的线程自由Python版本为13.1，因此下面的方法适用于该版本。
Python随机数数组
分享大数据、人工智能领域原创文章
01-24 534
随机数数组是NumPy库中强大而灵活的工具，提供了多种生成方式，包括均匀分布、正态分布、整数随机数等。通过设置随机数种子，还可以确保结果的可重复性。随机数数组在科学计算、数据分析和机器学习中有着广泛的应用，能够极大地简化复杂系统的模拟和数据处理任务。
金融财报问答大模型LLM: 多模态AI易于部署学习交流
综上所述，"金融财报问答大模型LLM.zip" 是一个针对金融领域的特定应用设计的、具有多模态处理能力的人工智能大模型，它易于部署且支持学习交流使用。该模型可能包括了开放维度设计，使得它能够灵活应对多种类型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值