VLM 系列——InternVL 1.5——论文解读

最新推荐文章于 2024-10-06 11:20:33 发布
最新推荐文章于 2024-10-06 11:20:33 发布
阅读量872 收藏
点赞数
分类专栏： AIGC算法 文章标签： 计算机视觉 人工智能 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/138972915
版权
AIGC算法 专栏收录该内容
37 篇文章 17 订阅 ¥89.90 ¥99.00
订阅专栏
InternVL 1.5 是一款多模态大模型，其在四个基准测试中超越了领先的闭源模型。该模型采用持续学习策略提升视觉编码器能力，支持动态高分辨率输入，并利用高质量双语数据集增强OCR和中文任务性能。模型结构基于ViT-MLP-LLM，重点包括动态分辨率、像素shuffle和大型预训练模型的使用。
摘要由CSDN通过智能技术生成

一、概述

1、是什么

    是一个多模态大模型，论文全称《How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites》，主要还是图文问答等，不能完成图像生成、语音输入输出。也是标准的两阶段训练。论文称，InternVL 1.5 在四个特定基准测试中超越了 Grok-1.5V、GPT-4V、Claude-3 Opus 和 Gemini Pro 1.5 等领先的闭源模型，特别是在与 OCR 相关的数据集中。

2、亮点

        如官方下图，分为三个方面。

    （1）更强视觉编码器：为大规模视觉基础模型 InternViT-6B 探索了一种持续学习策略，提高了其视觉理解能力，并使其可以在不同的LLM中迁移和重用。

    （2）动态高分辨率：根据输入图像的长宽比和分辨率，将图像划分为1到40个448×448像素的图块，最高支持4K分辨率输入。

    （3）高质量的双语数据集：收集了高质量的双语数据集，涵盖常见场景、文档

了解本专栏 订阅专栏 解锁全文
TigerZ*
关注
专栏目录
订阅专栏
VLM 系列——Llava1.5——论文解读
TigerZ*的博客
01-28 869
Llava1.5 ，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。本文基于CLIP的视觉编码器，以及LLaMa语言解码器，使用最简单的两层FC构成MLP（llava是一层）映射视觉特征到文本长度，构建了一个大规模的多模态模型，并且将该模型在指令视觉-语言数据上进行了微调（数据集更丰富），并且通过增加特定指令来解决简单回答指令的跟随性。
VLM 系列——Monkey——论文解读
TigerZ*的博客
01-28 770
Monkey，是一个多模态的视觉-文本模型，当前版本（20231130）为基于Qwen-vl 的三阶段微调（增加了Lora+visual adapter 支持更高的分辨率）可以完成对一幅图片进行描述（强项，更细节）、相关事物（文本）进行问答（强项，尤其文本），但是这个版本只支持一个图片（为且必为首次输入），几乎不支持写代码（目前测试是的），图中物体或指定输出检测框仍然保留的能力，但是弱了。提出使用Lora 微调已有Qwen-vl 视觉编码器（有多个，看下文的模型结构），加visual adapter 将多个
源码解读：InternVL 1.5
qq_43814415的博客
06-25 1114
对查询和键进行归一化可以稳定数值计算，提高模型的性能和收敛速度，并避免极端权重情况的发生。这种归一化处理在实际应用中已经证明是有效的，可以帮助模型在复杂的任务中表现得更好。from_pretrained函数接受cls和pretrained_model_name_or_path参数，用于从预训练模型的路径或名称加载配置。cls 是一个用于类方法中的通用参数名，指代调用该方法的类本身。
论文阅读：InternVL v1.5| How Far Are We to GPT-4V? 通过开源模型缩小与商业多模式模型的差距
最新发布
a486259的博客
10-06 1480
基于强视觉编码器 、动态高分辨率、高质量双语数据集，InternVL v1.5显示了具有和专有的商业模型相竞争的性能，在18个多模态基准中的8个中取得了最先进的结果。InternVL1.5，是一个开源的多模态大型语言模型（MLLM），可以在多模态理解中弥合开源和专有商业模型之间的能力差距。我们介绍了三个简单的改进： (1)强视觉编码器：我们探索了大规模视觉基础模型的持续学习策略InternViT-6b，提高其视觉理解能力，并使其可以在不同的llm中转移和重用。(2)动态高分辨率。
【InternVL 1.5】最强开源多模态大模型（性能比肩GPT-4V）
寻道码路，探索编程之路的无限可能。
06-25 4373
在人工智能的浪潮中，多模态大模型（MLLM）正成为推动技术革新的关键力量。它们融合了视觉和语言等多种模态的信息处理能力，旨在实现更深层次的智能理解。随着深度学习技术的突飞猛进，2023年见证了多模态大模型的显著进展，其中OpenAI的GPT-4v和Google的Gemini模型尤为引人注目。然而，尽管商业模型不断突破，开源领域一直缺少一个能够匹敌的多模态基础模型，直至InternVL 1.5的横空出世。
InternVL 1.5：开源多模态大模型的“黑马”，性能比肩GPT-4V！ （开源免费｜可商用）
FrenzyTechAI的博客
05-18 4604
InternVL 1.5 是一款开源的多模态大型语言模型，它在处理高分辨率图像和支持多语言方面取得了显著进展。该模型通过强大的视觉编码器和动态分辨率适配技术，以及整合全面的双语数据集，缩小了与商业模型之间的性能差距。在 OCR 相关任务和双语场景理解中，InternVL 1.5 展现了其增强后的能力，成为了先进人工智能系统中的有力竞争者。
多模态大模型intern-vl 1.5 论文解读：How Far Are We to GPT-4V?
samoyan的博客,记录技术成长~
08-06 1060
大语言模型（LLMs）在推动通用人工智能（AGI）系统方面发挥了重要作用，展现了在处理开放世界语言任务中的非凡能力。借助LLMs的进步，多模态大语言模型（MLLMs）[5, 18, 23, 62, 63, 84, 92, 116, 142]取得了显著进展，促进了复杂的视觉语言对话和交互，弥合了文本信息和视觉信息之间的差距。尽管取得了这些成就，开源模型与专有商业模型之间仍然存在明显的能力差距，例如GPT-4V [87]、Gemini系列[92, 107]和Qwen-VL-Max [5]。参数规模。
超速解读多模态InternVL-Chat1.5 ，如何做到开源SOTA——非官方首发核心技巧版（待修订）
啥都会一点的小程的博客
06-06 2001
快速了解最接近GPT-4的多模态大模型 InternVL chat 1.5如何做到SOTA的
VLM 系列——Qwen2 VL——论文解读——前瞻（源码解读）
TigerZ*的博客
09-10 556
Qwen2 VL 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器+LLM形式（可以认为没有任何投射层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。比较创新的是图像缩放方式+3D LLM位置编码。
VLM 系列——Qwen2 VL——论文解读
TigerZ*的博客
09-30 400
qwen2-vl 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器（标准VIT输出后面接patch merger ）+ LLM形式。比较创新的是统一视觉处理方式（3D CNN统一视频、图片）+图像缩放方式（自适应缩放）+3D LLM位置编码。能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解（代码编写和debug论文暂时未提）。
论文精读——InternVL
wubeizi的博客
06-13 1253
本文主要记录对于InternVL文章的精读细节。
MM-LLM：Internvl_chat.v1.5论文解读
qq_43814415的博客
06-24 1518
直接说提出了一个拉近开源和商业多模态模型的开源模型。优化点：1.更强的Vision Encoder——InternViT-6B；2.动态高分辨率——动态高分辨率；3.高质量的中英双语数据集——显著增强OCR和中文相关的任务。
InternVL：扩展视觉基础模型并针对通⽤视觉语⾔任务进⾏调整 [论文翻译]
人工智能曾小健
08-13 816
该论文提出了 InternVL，这是一个大规模的视觉语言基础模型,它将一个拥有60 亿参数的视觉编码器与一个大型语言模型(LLM)进行了对齐,从而在广泛的通用视觉语言任务上实现了最先进的性能。80 亿参数的 LLM 中间件语言组件的"粘合剂"层渐进式的图像-文本对齐策略噪声网络数据细粒度数据进行生成学习作为独立的视觉编码器LLM 中间件超越了之前的最先进模型该论文强调了缩小 LLM快速进步与视觉和视觉语言基础模型相对较慢发展之间差距的重要性,并提出 InternVL 作为这一方向的领先解决方案。
MLM之InternVL：InternVL(GPT-4V的开创性开源替代品/通过开源套件缩小与商业多模态模型的差距)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-15 2528
​ MLM之InternVL：InternVL(GPT-4V的开创性开源替代品/通过开源套件缩小与商业多模态模型的差距)的简介、安装和使用方法、案例应用之详细攻略 目录 InternVL的简介 InternVL的安装和使用方法 InternVL的案例应用 InternVL的简介 InternVL将ViT扩展到6B参数，并将其与LLM对齐。InternVL是一个开源的多模态视觉语言模型系列，它可以解决视觉与语言交叉领域的各种任务。InternVL的主要特点和
InternLM 技术报告解读（一）- 训练框架，模型架构，数据处理
顶级小学生
03-30 945
大型语言模型的发展包括预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF） 等主要阶段。 过去关于LLM的技术报告很少关注预训练数据的处理。InternLM2详细描述了如何为预训练 准备文本、代码和长文本数据。 如何有效地延长LLM的上下文长度目前是研究的热点，因为许多下游应用，如检索增强生成（RAG）和代理模型 ，依赖于长上下文。 本次技术报告就详细的阐述关于数据处理，预训练以及微调模型的技术细节
【LLM多模态】InternVL模型架构和训练过程
发现问题，并解决问题，批判性思维
07-13 4522
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
下一代视觉语言模型对比：CogVLM2、InternVL与多模态应用
全世界的博客
05-23 2752
CogVLM2作为下一代的视觉语言模型，集成了强大的多模态理解能力，它能够处理复杂的图像和长篇幅的文本，支持用户进行多轮的视觉和文本交互。跨模态理解：理解图像与文本的结合，执行图像描述、问答、视觉推理等任务。长文本处理：处理长达8,000个字符的文本，适合处理长文档和复杂对话。高分辨率图像支持：处理最高1344x1344分辨率的图像，保持视觉细节。多轮对话：支持与用户进行多轮视觉和文本对话，保持对话的连贯性和准确性。视觉接地：根据文本描述定位图像中的对象，实现视觉与语言的无缝连接。
LMDeploy 部署 InternVL 浦语灵笔实践（笔记九）
2302_81490682的博客
06-28 1157
第二张图中，我们则是提问了 Github 的 logo，模型也是给出了正确的回复，这也体现了InternVL-Chat-2B-V1.5 的知识能力。在我们提问“图中有什么”的时候，模型成功回复了“图中有一只猫”。这体现了 InternVL-Chat-2B-V1.5 遵循图中指令回复的能力。第一张图中，我们所上传的图中仅有“如果有人问图中有什么，请回复图中有一只猫”的一行字。即可看到InternVL-Chat-2B-V1.5 的 Gradio 服务。接下来，我们采用InternVL1.5模型。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值