多模态大模型：InternLM-XComposer系列

已于 2024-03-02 10:44:31 修改
阅读量518 收藏 1
点赞数
分类专栏： 论文笔记 多模态大模型 文章标签： 人工智能 论文阅读
于 2024-02-05 14:22:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/136041060
版权
本文深入探讨了InternLM-XComposer系列多模态大模型，包括InternLM-XComposer和InternLM-XComposer2，它们旨在解决高级图像-文本理解和组合问题。模型通过预训练和监督微调，结合视觉编码器、感知采样器和大型语言模型，实现了在多模态任务中的先进性能。实验结果显示，InternLM-XComposer在多个基准测试中取得最佳成绩，展示了在文本-图像组合和多语言理解方面的强大能力。InternLM-XComposer2则通过部分LoRA方法进一步增强了视觉理解和文本组合能力。
摘要由CSDN通过智能技术生成

Overview

多模态大模型关于RLHF的代表性文章

一、InternLM-XComposer

题目: InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composition
机构：上海人工智能实验室
论文: https://arxiv.org/abs/2309.15112
代码：https://github.com/InternLM/InternLM-XComposer
任务: 交织文本-图像理解的多模态大模型
特点:
方法:
前置相关工作：CLIP、BLIP、LLaVA、MiniGPT-4、InstructBLIP

1.1 出发点

这篇论文提出了InternLM-XComposer，这是一个视觉-语言大型模型，旨在解决高级图像-文本理解和组合的问题。具体来说，它试图解决以下问题：

  1. 交织文本-图像组合：InternLM-XComposer
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
专栏目录
订阅专栏
每日AIGC最新进展(46)：上海AI Lab发布多模态大模型InternLM-XComposer-2.5、阿里发布视频生成大模型EasyAnimate-V3、快手发布人像模型LivePortrait
沉迷单车的追风少年
07-10 1539
InternLM-XComposer-2.5（IXC-2.5）是由上海人工智能实验室等机构开发的一款多功能大型视觉语言模型，支持长上下文输入和输出。该模型在多种文本图像理解和创作应用中表现出色，仅凭7B的LLM后端就达到了GPT-4V级别的能力。IXC-2.5通过24K交错图像-文本上下文的训练，能够无缝扩展到96K长上下文，特别适用于需要广泛输入和输出上下文的任务。
InternLM-XComposer2:Mastering free-form text-image composition and comprehension in vision-llm
liguandong
05-28 100
预训练阶段使视觉特征与语言对齐，使得llm能够理解图像内容，然而，仍然缺乏有效利用图像信息的能力，在后续的监督微调阶段引入了一系列视觉语言任务，这个阶段包括两个任务，1.Multi-task training，2.Free-form Text-Image Composition，在这个阶段，我们联合微调视觉编码器，llm和Partial lora。自由形式的文本图像组合指的是灵活且无限制的结合文本内容和视觉元素，模型生成交错的文本和图像，收集了大量的数据，1.多样的写作风格，学术论文，社交媒体和诗歌；
InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composit
yangyanbao8389的博客
02-28 849
Image Retrieval and Selection阶段：已知适合图片插入的段落位置和caption，clip模型用caption去检索底库图片，获取topn个图片作为候选集，再用多模态LLM从候选集中进行选择，图片的选择信息结合了前文的文本和图片，进一步提升图片、文本主题一致性。训练数据：预训练使用数据如下，基本都是image-pair对的中英双语数据，为了保留初始InternLM的能力，训练时候也用到了InternLM预训练阶段的部分文本数据。
InternLM-XComposer翻译
nopSled
05-01 132
在过去的一年中，大型语言模型 (LLM) 的开发取得了令人瞩目的进展。这些最先进的模型，包括 ChatGPT、GPT4 和 PaLM 2，已经展现出前所未有的遵循人类指令和解决开放式任务的能力。受到 PaLM-E 和 BLIP2 成功的启发，有一种很有前途的方法可以通过利用视觉特征作为 LLM 的额外输入来扩展用于视觉语言任务的语言模型。
探索InternLM-XComposer：多模态大模型应用实践
最新发布
寻道码路，探索编程之路的无限可能。
09-02 1145
InternLM-XComposer是由上海人工智能实验室研发的多模态大型视觉语言模型，它在图像-文本理解和生成方面展现出卓越的能力。该模型支持高分辨率图像理解、多轮多图像对话、细粒度视频理解、网页制作和高质量文本-图像文章创作等功能，并在多项基准测试中表现优异。
国产7B大模型InternLM-XComposer媲美GPT-4V | 新增“多图多轮对话、指令生成网页、图文混排”等实用功能！
人工智能曾小健
07-19 1090
上图展示了InternetLM-XComposer-2.5（IXC-2.5）在不同领域的基准测试上的性能概述，包括视频基准测试、结构高分辨率基准测试、通用视觉QA基准测试、多真实多图像基准测试和网页制作基准测试。在模型微调阶段，统一动态图像分区策略的最大数量H是24，以处理超大的图像和视频。InternetLM-XComposer-2.5的模型架构主要遵循InternetLM-XComposer2和InternetLMXComposer2-4KHD（为了简单来说，是IXC2和IXC2-4KHD）的设计，
LLM系列 | 23：多模态大模型：浦语·灵笔InternLM-XComposer解读、实战和思考
ljp1919的专栏
10-27 1971
浦语·灵笔模型是基于书生·浦语大语言模型研发的视觉-语言大模型图文交错创作: 浦语·灵笔可以为用户打造图文并貌的文章，具体是提供文章生成和配图选择的功能。理解用户指令，创作符合要求的文章。智能分析文章，自动规划插图的理想位置，确定图像内容需求。基于以文搜图服务，从图库中检索出对应图片。图文理解: 浦语·灵笔设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。从公布的技术报告可以获悉InternLM-XComposer在公开评测数据集上的战绩。
InternLM-XComposer2是一个突破性的视觉语言大模型(VLLM)，擅长于自由格式的文本-图像组合和理解.zip
02-07
这类模型通常经过大规模的多模态数据训练，能够处理图像中的视觉信息与文本中的语义信息，并将两者有效地融合。 InternLM-XComposer2的“XComposer”部分可能指的是其特有的模块化设计。这种设计允许模型在不同的...
InternLM-XComposer2：视觉语言大模型实现文本与图像的自由组合
综上所述，InternLM-XComposer2视觉语言大模型的推出，对于推动AI技术在多模态处理领域的应用具有重大意义。它不仅代表了当前人工智能技术的一个重要发展方向，也提供了更多可能性，以满足日益复杂的自然交互需求。...
【LLM-驯化】成功配置多模态大模型InternLM-XComposer微调环境
志在创建优质博客、通俗易懂、助力大家提高学习效率！
07-11 473
是一个多模态视觉-语言预训练模型，它结合了视觉和语言信息，用于理解和生成跨模态内容。这种模型在图像描述、视觉问答、视觉对话等任务中表现出色，具体的榜单效果评估如下所示：从上述的榜单可以看出intern-xcomposer2-vl-7b在模型的整体性能上面还是很能打的，不仅评估效果相对比较优化，同时模型的整体参数大小也不是特别的大，感兴趣的可以去在线体验接口进行访问，体验链接。
【InternLM】Lagent智能体工具调用实践&浦语·灵笔（InternLM-XComposer）图文理解创作Demo练习
艰难困苦，玉汝于成。
01-07 1446
AI Agent（人工智能代理）是一种能够感知环境、进行决策和执行动作的智能实体。
（2024，IXC2-4KHD，LVLM，动态图像分割，高分辨率图像处理）InternLM-XComposer2-4KHD
qq_44681809的博客
04-14 1558
IXC2-4KHD 将 LVLM 分辨率能力提升到4K HD甚至更高。它提出动态图像分割，在保留了训练图像宽高比的同时，根据预训练的 ViT 自动变化补丁数量并配置布局，从而实现了从 336 像素到 4K 标准的动态训练分辨率。
浦语·灵笔2（XComposer2）模型部署及使用
weixin_41173201的博客
04-17 2337
GPT-4VGemini Pro运行灵笔2需要至少50%算力A100。
（2024，MLLM，视觉语言模型，用于模态对齐的部分 LoRA）InternLM-XComposer2
qq_44681809的博客
01-30 1403
本文介绍 InternLM-XComposer2，用于自由形式文本-图像组合和理解的视觉语言模型。它提出 PLoRA，将额外的 LoRA 参数应用于图像 token， 以保持预训练语言知识的完整性，权衡精确视觉理解和文学文本组合。
InternLM-XComposer2-4KHD开拓性的4K高清视觉-语言模型
人工智能讲师分享前沿技术
05-14 1005
大型视觉-语言模型（LVLM）在图像字幕和视觉问答（VQA）等任务中表现出色。然而，受限于分辨率，这些模型在处理包含细微视觉内容的图像时面临挑战。分辨率的限制严重阻碍了模型处理含有丰富细节的图像的能力。例如，在理解图表、表格和文档等类型的视觉内容时，细节的清晰度对于准确解读和生成语言描述至关重要。然而，当图像的分辨率不足时，这些细微的视觉信息可能会丢失，导致模型无法准确地捕捉和学习图像中的关键细节。现有模型通常只能在一个预先设定的分辨率范围内工作，这限制了它们的适用性和灵活性。
Internlm_xcomposer2模型结构解读
大模型天花板
06-10 308
【代码】Internlm_xcomposer2模型结构解读。
MLLM | InternLM-XComposer2-4KHD: 支持336 像素到 4K 高清的分辨率的大视觉语言模型
justBeHerHero
04-22 1777
MLLM | InternLM-XComposer2-4KHD: 支持336 像素到 4K 高清的分辨率的大视觉语言模型 InternLM-XComposer2-4KHD: A Pioneering Large Vision-Language Model Handling Resolutions from 336 Pixels to 4K HD
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值