书生·浦语 大模型（学习笔记-5）XTuner 微调 LLM：1.8B、多模态、Agent

已于 2024-04-25 17:32:11 修改
阅读量270 收藏
点赞数 3
分类专栏： 书生·浦语 文章标签： 学习 笔记
于 2024-04-25 13:40:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63181360/article/details/138184869
版权

目录

一：两种微调

二、数据的一生

三、微调方案

四、XTuner

五、InternLM2 1.8B模型（相关知识）

一：两种微调

增量与训练和指令微调的区别 

二、数据的一生

原始数据转换为标准格式数据

添加对话模板，直接调用即可，会拼接

三、微调方案

三种加载对比

四、XTuner

五、8GB 显存玩转 LLM

五、InternLM2 1.8B模型（相关知识）

        适合初学者使用

六、多模态LLM

        感觉原理和之前的增量与训练有些相似，具体还没总结出来哪里不太一样

        学完感觉对大模型的理解更近一步

卷到起飞的数分
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM大模型技术实战6：一文总结大模型微调方法-大模型微调技术路线
07-22
LLM大模型技术实战6：一文总结大模型微调方法_大模型微调技术路线
《AI大模型应用》--2023复赛选题：通义千问Qwen-7B用TensorRT-LLM模型搭建及优化.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
【 书生·浦语大模型实战营】学习笔记（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 1535
本篇笔记内容主要为XTuner 微调 LLM。主要对微调概念、XTuner框架等进行详细介绍，并对多模态LLava1.8b进行模型训练微调、模型合并、对话测试实战，欢迎大家交流学习！
书生浦语训练营2期-第四节课—XTuner微调LLM：1.8B多模态Agent实践笔记及作业
m0_55303420的博客
04-19 759
由在本节中主要就是带领着大家跑通了 XTuner 的一个完整流程，通过了解数据集和模型的使用方法、配置文件的制作和训练以及最后的转换及整合。那在后面假如我们也有想要微调出自己的一个模型，我们也可以尝试使用同样流程和方法进行进一步的实践！
书生·浦语大模型实战营：XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45222417的博客
04-24 1696
使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识训练数据：文章、书籍、代码等。使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话、问答数据。LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。XTuner 一个大语言模型&多模态模型微调工具箱。两种Finetune范式。
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1119
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
学习笔记 | XTuner 微调 LLM：1.8B、多模态、Agent
DrFlown的博客
04-21 1056
​ 底座模型 (Foundation Model) 是为了一般性任务而训练，需要领域内微调来更好地适应领域内任务。
浦语学习笔记第三章——XTuner 微调 LLM：1.8B、多模态、Agent
2401_83572169的博客
06-28 433
首先为什么要微调呢？现在的大模型大多数都是“foundation”模型，是非常泛化的，它们在众多专业领域的表现是不如我们微调之后的模型的，所以微调其实就是将一个泛型化的大模型调整成为一个更适用于某个专业领域的专用大模型。两种常用的微调范式：增量预训练和指令跟随。增量预训练微调主要是为了让一个模型学到一些新知识，如某个垂类领域的知识，训练数据通常为文章，书籍，代码等等，不需要标注。而指令跟随微调是为了让模型学会对话模板，根据人类指令进行对话，常用数据为高质量的对话和问答数据，需要标注。
书生·浦语大模型第二期实战营第四节-XTuner 微调 LLM：1.8B、多模态、Agent 笔记
aaaccc444的博客
04-23 388
书生·浦语大模型第二期实战营第四节-XTuner 微调 LLM：1.8B、多模态、Agent 笔记
书生·浦语大模型（四）XTuner 微调 LLM：1.8B、多模态、Agent【理论笔记部分】
ww1132的博客
04-19 527
为什么要微调？把通用的基座模型通过微调，得到专业领域的模型。
书生·浦语大模型实战：XTuner 微调 LLM: 1.8B、多模态和 Agent（lesson 4）
weixin_39291058的博客
05-31 859
微调是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，使模型适应特定任务或领域。微调主要目的是，完成知识注入、指令对齐。在大模型应用中，指令微调已成为预训练大模型在实际业务应用最重要的方式。许多垂直领域模型，都是在预训练模型的基础上，通过针对性的指令微调，可以更好地适应最终任务和对齐用户偏好。
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型的资料不多，...
NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统
11-12
NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统。该存储库托管了 NExT-GPT 的代码、数据和模型权重，NExT-GPT 是第一个端到端的 MM-LLM，它以文本、图像、视频和音频等的任意组合（任意到任意）...
编程学习之路：从零到一的成长指南
KsuferNotes
07-22 297
在当今数字化时代，编程技能已经成为许多人职业发展的重要组成部分。不论你是已经在IT业从业多年的老手，还是刚刚起步的编程新手，这篇博客将带你走过编程学习的每一个重要阶段，从而顺利完成从零到一的华丽转变。
5.CSS学习（浮动）
最新发布
ShawLee0925的博客
07-23 209
css浮动——float特点
kubernetes学习日志（七）
qq_47037022的博客
07-18 624
本文记录了service管理，ingress管理，Dashboard管理插件，集群鉴权策略，角色与全局角色，赋权与全局角色赋权。
手写简易版Spring IOC容器02【学习】
weixin_44794897的博客
07-19 577
其中applyPropertyValues用于从beanDefinition中读取属性的配置信息然后通过BeanUtil(hutool-all中提供的类)为其赋值@Overridetry {// 创建bean实例Class<?if (null!break;// 设置属性值try {// 从beanDefinition中获取property通过Resource获取文件流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值