书生·浦语大模型实战营之XTuner多模态训练与测试

已于 2024-04-16 21:46:17 修改
阅读量125 收藏
点赞数
分类专栏： AI & Big Data案例实战课程 文章标签： InternLM2
于 2024-04-16 19:45:00 首次发布
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/137808649
版权

书生·浦语大模型实战营之XTuner多模态训练与测试

目录

在这里插入图片描述

XTuner多模态训练与测试

在本节课中，我们将学习使用XTuner微调多模态LLM的内容，本部分需要的GPU资源为24GB 30% 的 A100。

这是学完本节内容后的多模态LLM性能效果展示：

  • Finetune前的多模态LLM(InternLM_Chat_1.8B_llava)：只会给图像打标题

在这里插入图片描述

  • Finetune后的多模态LLM(InternLM_Chat_1.8B_llava)：会根据图像回答问题了

在这里插入图片描述

给LLM装上电子眼：多模态LLM原理简介

文本单模态

在这里插入图片描述

文本+图像多模态

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
高质量中文预训练模型;大模型;多模态模型;大语言模型集合.zip
08-20
+ [多模态对话大模型](#MultiModal-ChatLLM) + [大模型评估基准](#大模型评估基准) + [在线体验大模型](#在线体验大模型) + [开源模型库平台](#开源模型库平台) + [开源数据集库](#开源数据集库) + [开源中文...
【 书生·浦语大模型实战营】学习笔记（四）：XTuner 微调 LLM：1.8B、多模态、Agent
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-28 1544
本篇笔记内容主要为XTuner 微调 LLM。主要对微调概念、XTuner框架等进行详细介绍，并对多模态LLava1.8b进行模型训练微调、模型合并、对话测试实战，欢迎大家交流学习！
书生·浦语大模型实战营：XTuner 微调 LLM：1.8B、多模态、Agent
weixin_45222417的博客
04-24 1699
使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识训练数据：文章、书籍、代码等。使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话、问答数据。LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式。XTuner 一个大语言模型&多模态模型微调工具箱。两种Finetune范式。
书生·浦语大模型实战营Day04XTuner多模态
个人小站：www.xiaowangyun.com
04-16 1036
书生·浦语大模型实战营Day04XTuner多模态
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1619
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
多模态大模型应用-本地化部署VQGAN+CLIP-不使用colab-附流程教程-优质大模型应用实战.zip
05-08
在当前的IT领域，多模态大模型的应用已经成为人工智能研究和开发的重要方向。VQGAN（Vector Quantized Generative Adversarial Networks）和CLIP（Contrastive Language-Image Pretraining）是两种在图像处理和自然...
基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型
11-12
Visual-Chinese-LLaMA-Alpaca（VisualCLA）是基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型。VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块，使LLaMA模型可以接收视觉信息。在此基础上，使用了...
a state-of-the-art-level open visual language model - 多模态预训练模型
04-26
a state-of-the-art-level open visual language model | 多模态预训练模型 CogVLM是一个功能强大的开源视觉语言模型 (VLM)。 CogVLM-17B拥有100亿个视觉参数和70亿个语言参数，支持图像理解和多轮对话，分辨率为...
CLIP预训练-基于Region-based实现的Language-Image多模态大模型CLIP的预训练-附项目源码+流程教程
06-02
本项目是基于Region-based实现的CLIP预训练，旨在帮助开发者和研究者更深入地理解CLIP的工作原理，并提供实际操作的项目源码和流程教程，以促进对多模态大模型的学习和应用。 首先，我们要了解CLIP的核心概念。CLIP...
基于Java开发的银行管理系统后台bankproject-master.zip
07-26
基于Java开发的银行管理系统后台bankproject-master.zip
基于Java实现的企业考勤管理系统(源代码+数据库SQL).rar
07-26
基于Java实现的企业考勤管理系统(源代码+数据库SQL).rar
【SCI1区】Matlab实现三角测量拓扑聚合优化器TTAO-Transformer-GRU故障诊断算法研究.rar
07-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【SCI1区】Matlab实现蛇群优化算法SO-Transformer-GRU故障诊断算法研究.rar
最新发布
07-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
基于Javaweb网上在线客车售票系统（源代码+数据库+部署文档）.rar
07-26
基于Javaweb网上在线客车售票系统（源代码+数据库+部署文档）.rar
微调中文改错模型，使用Pytorch+Transformers实现，并设计了一个GUI程序.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！
大学生化工科技杯-重庆理工大学-江左盟.zip
07-26
大学生化工科技杯-重庆理工大学-江左盟.zip
禅道使用手册.docx
07-26
禅道使用
医疗门诊患者及用药数据案例分析.docx
07-26
随着医疗技术的不断进步，智慧医疗逐渐成为解决传统医疗体系中管理系统不完善、成本高、渠道少、覆盖面低等问题的重要途径。智慧医疗体系的构建旨在通过信息化手段，使患者能够享受更便捷、高效、优质的医疗服务。这一趋势体现了新质生产力在医疗领域的深入应用，包括创新驱动、数字化智能化转型、资源优化配置等多个方面。它不仅提升了医疗服务质量，也为医疗行业的未来发展开辟了新的道路。 门急诊收费系统是医院信息化建设的重要组成部分，通过自动化处理划价、收费、退费等业务，有效减少了患者排队时间，提高了工作效率和服务质量。住院收费系统则专注于住院病人的费用管理，确保费用信息的准确性和及时性，为临床决策和医院管理提供有力支持。智慧医疗的建设正是依托于这些先进的信息化手段，不断优化医疗服务流程，提升患者体验。 本案例分析的数据来源于某医院近年来的门诊医疗数据，经过严格的脱敏和数据变换处理，确保隐私安全。数据以Excel文件形式提供，包含六个关键字段，具体说明见下表。 二、解决问题 预测分析 1. 针对康复医学科一病房：利用日期、患者人数、药品总收入、当日病房收入等作为输入特征，构建两个不同类型的时间序列预测模型，旨在
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值