XTuner 微调LLM：1.8B 多模态实操作业

最新推荐文章于 2024-06-16 03:23:04 发布
最新推荐文章于 2024-06-16 03:23:04 发布
阅读量99 收藏
点赞数 1
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68405343/article/details/139395962
版权

f88584cadb314afda6224d8bc8af2d93.jpg

 da68a3ac1d7d4e5ca8d447a18c6aba50.jpg

 920b92de6245491fb64089bed9aa937d.jpg

462e7fc76a014c959748fe0e6f9a6504.jpg6ae95e9d7d3d4b588d64030d464c4335.jpg 

 8ec0dfa7f0ee4c939ba7b4a30d0e06cf.jpg

 

 

人云520
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM在电商多模态内容推荐系统的探索与实践
11-21
LLM 在电商多模态内容推荐系统中的探索与实践 本文探索了大语言模型（LLM）在电商多模态内容推荐系统中的应用，旨在解决推荐系统中的数据稀疏性问题。通过使用 LLM 增强 side information，系统可以更好地捕捉用户...
LLM在多模态基于内容的推荐系统中的应用
11-21
LLM 在多模态基于内容的推荐系统中的应用 本文讨论了Large Language Models (LLMs) 在多模态基于内容的推荐系统中的应用。推荐系统是指根据用户的历史行为和偏好，推荐用户可能感兴趣的项目的系统。然而，推荐系统...
XTuner 微调 LLM：1.8B、多模态、Agent——笔记
YYYYbhjbhkv_的博客
04-16 1016
LLM的下游应用中，增量预训练 和 指令跟随 是经常会用到两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识，如某个垂类领域的常识。训练数据:文章、书籍、代码等。指令跟随微调使用场景:让模型学会对话模板，根据人类指令进行对话。训练数据:高质量的对话、问答数据。可以看到，增量预训练更多的只是将某种知识喂给模型，让模型学会这个知识，但怎么用，模型此时还是不知道的。然后，指令跟随微调就会训练模型，让模型学会对话模板，当想它问出问题的时候，模型就会运用自己的知识来解答。
XTuner 微调 LLM：1.8B、多模态
weixin_73902638的博客
05-02 949
在本节中，我们将自己构造数据对，基于InternLM2_Chat_1.8B这个文本单模态模型，使用LLaVA方案，训练一个给InternLM2_Chat_1.8B使用的Image Projector文件。LLaVA方案中，给LLM增加视觉能力的过程，即是训练Image Projector文件的过程。该过程分为2个阶段：Pretrain和Finetune。
XTuner 微调 LLM：1.8B、多模态、Agent——作业
YYYYbhjbhkv_的博客
04-21 868
XTuner 微调 LLM：1.8B、多模态、Agent——作业一、基础作业1.1、训练自己的小助手认知1.1.1、环境安装1.1.2、数据集准备1.1.3、模型准备1.1.4、配置文件选择1.1.5、常规训练1.1.6、加速训练1.1.7、模型转换1.1.8、模型结合1.1.9、对话测试1.1.10、 Web demo 部署二、进阶作业2.1、将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab2.1.1、 克隆空仓库：2.1.2、使用 git lfs track 标记文件2.1.3
XTuner 微调 LLM:1.8B、多模态、Agent
weixin_44217506的博客
06-13 881
是不是感觉其实微调也不过如此！事实上确实是这样的！其实在微调的时候最重要的还是要自己准备一份高质量的数据集，这个才是你能否真微调出效果最核心的利器。微调也经常被戏称为是炼丹，就是说你炼丹的时候你得思考好用什么样的材料、用多大的火候、烤多久的时间以及用什么丹炉去烧。这里的丹炉其实我们可以想象为 XTuner ，只要丹炉的质量过得去，炼丹的时候不会炸，一般都是没问题的。但是假如炼丹的材料（就是数据集）本来就是垃圾，那无论怎么炼（微调参数的调整），炼多久（训练的轮数），炼出来的东西还只能且只会是垃圾。
XTuner 微调 LLM：1.8B、多模态、Agent
qq_42907812的博客
04-20 740
这类似于之前提到的lora微调方案，两者都是在已有的大语言模型基础上，用新数据训练出一个新的小型模型。而Finetune阶段则是在显卡中使用高质量图像加复杂对话文本的数据对模型进行进一步训练，类似于指令微调，最终得到具有视觉识别能力的模型。增量预训练的使用场景是在已有基础模型上，增加新的领域知识训练数据，如文章、书籍或代码等，无需问答对标注。训练阶段，利用文本问答数据和图像向量作为输入，输出文本回答，从而训练出一个能够处理图像的模型（image projector）。需要先进入仓库，才能标记大文件。
XTuner 微调 LLM：1.8B、多模态、Agent 作业
m0_55546566的博客
04-23 104
7、webdemo部署。训练自己的小助手认知。
XTuner微调LLM：1.8B，多模态和Agent
2401_83218582的博客
04-19 628
这意味着，当我们访问 /root/ft/model 时，实际上就是在访问 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 目录下的内容。执行上述操作后，/root/ft/model 将直接成为一个符号链接，这个链接指向 /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b 的位置。准备好的配置文件只要运行起来就代表着模型就开始训练或者微调了。
XTuner 微调 LLM：1.8B、多模态和 Agent
qq_38943092的博客
05-09 285
课程文档https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md。
【 书生·浦语大模型实战营】学习笔记（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 1436
本篇笔记内容主要为XTuner 微调 LLM。主要对微调概念、XTuner框架等进行详细介绍，并对多模态LLava1.8b进行模型训练微调、模型合并、对话测试实战，欢迎大家交流学习！
量化LLM微调工具：用于量化微调大规模语言模型(LLM)的工具
11-18
QLoRA是一个用于量化微调大规模语言模型(LLM)的工具。它提供了有效的方法和技巧来进行LLM的微调，使得模型在特定任务上能够更好地适应和表现。QLoRA为量化LLM的研究和实践提供了一个有力的工具。
大型语言模型 LLM：2023 年完整指南.pdf
04-12
大型语言模型 LLM：2023 年完整指南.pdf
GPT系列报告：具身化多模态 PaLM-E
03-30
PaLM-E：具身化的多模态大语言模型PaLM-E 引入具身化和多模态概念。谷歌在 2022 年提出的 PaLM 模型基础上，引入了具身化和多模态概念，实现了指导现实世界机器人完成相应任务的功能。PaLM-E 的字面理解，是以 PaLM ...
随心笔记，第六更
leen的博客
06-13 556
今天给大家分享的是使用idea 将xml转为JavaBean，并且取其中的数据和其他的数据进行交互。
Python学习笔记11 -- 细碎内容
m0_71291382的博客
06-12 265
记录一些琐碎点，包括如何注释、变量常量说明、字符串拼接的三种方法及转义字符的简单说明
论文阅读笔记：DepGraph: Towards Any Structural Pruning
HollowKnightz的博客
06-15 1407
论文阅读笔记：DepGraph: Towards Any Structural Pruning
【虚幻5】自学纯蓝图笔记（一）
最新发布
lklalmq的博客
06-16 654
本笔记使用v15.17.1版本的IDE ，v5.4.2的引擎有许多小的功能记录在快捷键一节中，节省时间就不单独记录学习本章内容时的机器太差了，i58代的CPU，16g运存，所以GIF截图会非常卡顿指导老师：B站UP主-张亮002。
多模态LLM在数据处理中的优势
03-09
多模态LLM（Multimodal Language Models）是一种结合了文本和其他多种模态数据（如图像、音频等）的语言模型。它在数据处理中具有以下优势： 1. 综合信息：多模态LLM可以同时处理文本和其他模态数据，从而获得更...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值