VLM 系列——Qwen2 VL——论文解读——前瞻（源码解读）

已于 2024-09-11 10:38:00 修改
阅读量554 收藏
点赞数
分类专栏： AIGC算法 文章标签： AIGC 人工智能 transformer 计算机视觉 图像处理
于 2024-09-10 17:28:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/142103878
版权
AIGC算法 专栏收录该内容
37 篇文章 17 订阅 ¥89.90 ¥99.00
订阅专栏

一、概述

1、是什么

    是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器+LLM形式（可以认为没有任何投射层）。比较创新的是图像缩放方式+3D LLM位置编码+（预估后面的训练方式也不太一样）。能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解（代码编写和debug论文暂时未提）。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。

2、亮点

    *大尺寸图：读懂不同分辨率和不同长宽比的图片，在DocVQA、RealWorldQA、MTVQA 等基准测试创下全球领先的表现；
    *视频理解：理解20分钟以上长视频，支持基于视频的问答、对话和内容创作等应用；
    *智能体：具备强大的视觉智能体能力，可自主操作手机和机器人，借助复杂推理和决策的能力，Qwen2-VL 可以集成到手机、机器人等设备，根据视觉环
了解本专栏 订阅专栏 解锁全文
VLM 系列——Qwen-VL 千问—— 论文解读
TigerZ*的博客
01-28 2383
Qwen-VL表示多任务训练后的模型，Qwen-VL-chat是基于Qwen-VL的指令调优（第三阶段SFT——监督微调）后的视觉语言聊天机器人。
VLM （MLLM）系列——论文解读总结
TigerZ*的博客
02-05 581
从数据、模型、训练三个角度概述VLM也就是MLLM模型的内容，该综述能够快速对比论文的创新点等，非常适合初学者、学生、在职人员。
【多模态大模型】Qwen2-VL基本原理和推理部署实战
weixin_43799388的博客
09-21 3065
具体实现代码地址：https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_vl/modeling_qwen2_vl.py。具体实现代码地址：https://github.com/QwenLM/Qwen2-VL/blob/main/qwen-vl-utils/src/qwen_vl_utils/vision_process.py。Qwen2 VL的一个关键架构改进是引入了原生动态分辨率支持。
论文阅读：Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
a486259的博客
10-07 1322
公开时间：2024年10月3日Qwen2-VL是对之前的Qwen-VL模型的高级升级，重新定义了视觉处理中传统的预定分辨率方法。。这种方法允许模型生成更有效和更准确的视觉表征，与人类的感知过程密切一致。。我们，Qwen2-VL研究了大型视觉语言模型（LVLMs）的缩放定律。通过扩展模型的大小-2B、8B和72B参数的版本和训练数据的量，Qwen2-VL系列实现了具有高度竞争力的性能。
Qwen2-VL论文阅读笔记
谁怕平生太急
09-25 967
Naive Dynamic Resolution - 用2D-RoPE取代绝对位置编码 推理阶段的序列长度是可控的 【推理阶段的不定长的vision tokens是怎么处理的？遵从qwenvl的三阶段：用image-text单独训练ViT、解冻所有参数训练理解能力、最后冻住ViT只训练LLM遵循格式化数据。预训练阶段目的： 学习 图文关系、通过ocr的图像文本上下文识别、图片分类任务。平衡长视频处理的计算需求与整体训练效率，我们动态调整每个视频帧的分辨率，限制每个标记的总数 视频到16384。
代码角度，深度解析 Qwen2-VL 模型结构
Python_cocola的博客
09-12 2116
快速开始，接下来我会简单说说 Qwen2-VL 整体结构当中的几个关键的细节。帮助大家快速理解Qwen2-VL结构和其他网络结构的不同。
多模态模型基础
谁怕平生太急
06-04 1582
ViT的位置编码：https://blog.csdn.net/qq_44166630/article/details/127429697QwenVL发布：https://qwenlm.github.io/zh/blog/qwen-vl/
【论文小记】Qwen-VL
Cocolada 的博客
01-23 752
该文为阿里的 Qwen 系列的视觉拓展。以下仅为个人理解，请以原文为准。
LLM 系列——Qwen2——论文解读
TigerZ*的博客
07-24 522
Qwen2 是单模态纯文本的大语言模型，开源了一整套基础和指令调优的语言模型，参数范围从5亿到720亿不等，包括密集模型和混合专家模型。可以用于：语言理解、生成、多语言、编码、数学和推理。主要是精召性能提升、数据和长文本处理方面改进，包括数据处理等使用了一些最新的其他论文的思路，模型结构等方面并没有大的改动。
VLM 系列——Qwen2 VL——论文解读
TigerZ*的博客
09-30 399
qwen2-vl 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器（标准VIT输出后面接patch merger ）+ LLM形式。比较创新的是统一视觉处理方式（3D CNN统一视频、图片）+图像缩放方式（自适应缩放）+3D LLM位置编码。能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解（代码编写和debug论文暂时未提）。
实战千问2大模型第二天——Qwen2-VL-7B（多模态）的部署和测试
qq_34717531的博客
09-10 2090
2024年 8 月 30 日，通义千问团队今天对 Qwen-VL（视觉语言、Vision Language）模型进行更新，推出 Qwen2-VL。Qwen2-VL 的一项关键架构改进是实现了与上一代模型 Qwen-VL 不同，，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。
VLM 系列——MiniCPM-Llama3-V 2.6——论文解读——前瞻（源码解读）
TigerZ*的博客
08-16 501
MiniCPM-Llama3-V 2.6 是一款面向终端设备的多模态大型语言模型（MLLM），论文暂未发布，它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（qwen2 7B + SigLIP ViT-400m/14 + 视觉标记压缩层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、代码编写和debug、多图问对话、视频理解对话、json格式、高清OCR解析（函数调用论文暂时未提）。本文结合源码，将重点改进和相关技术进行了拆解介绍。
qwen-vl源码阅读
weixin_43845649的博客
02-01 1524
对于文本编码，qwen-vl使用tiktoken进行编码，tiktoken相比较HuggingFace的tokenizer，其速度提升了好几倍。阅读qwen-vl的tokenizer：tokenization_qwen.py。
LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
Mystra
09-26 2534
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL
wshzd的博客
09-05 2424
从六个关键维度评估模型的视觉能力：复杂的大学水平问题解决、数学能力、文档和表格理解、多语言文本图像理解、一般场景问答、视频理解和基于代理的交互。此功能为更直观和身临其境的交互铺平了道路，Qwen2-VL 不仅充当观察者，而且是我们视觉体验的积极参与者。此外，更小的 2B 模型针对潜在的移动部署进行了优化。Qwen2-VL 现在拥有改进的对象识别功能，超越了植物和地标，可以理解场景中多个对象之间的复杂关系。在 7B 模型上，保留了对图像、多图像和视频输入的支持，以更具成本效益的模型大小提供有竞争力的性能。
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 869
使用 vllm 本地部署 cohere 的 command-r
Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等
机器学习，深度学习
08-12 1216
在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。
实战千问2大模型第五天——VLLM 运行 Qwen2-VL-7B（多模态）
最新发布
qq_34717531的博客
10-09 1083
VLLM 是一种高效的深度学习推理库，通过PagedAttention算法有效管理大语言模型的注意力内存，其特点包括24倍的吞吐提升和3.5倍的TGI性能，无需修改模型结构，专门设计用于加速大规模语言模型（LLM）的推理过程。它通过优化显存管理、支持大模型的批处理推理以及减少不必要的内存占用，来提高多 GPU 环境下的推理速度和效率。这使得 VLLM 非常适合需要快速、大规模推理的任务，例如在生产环境中部署大语言模型进行实时文本生成或问答等应用。
VLM 和 VIT的关系
09-04
VLM（Vision Language Model）和ViT（Vision Transformer）是两种不同的深度学习模型架构，它们在处理视觉任务和融合视觉与语言信息方面各自有着独特的应用和优势。 ViT（Vision Transformer）是将自然语言处理领域中广泛使用的Transformer模型应用到计算机视觉领域。Transformer架构最初是为处理序列数据设计的，如文本，通过自注意力机制有效地捕捉序列内各个元素之间的关联。ViT将图像分割成一系列固定大小的补丁（patches），然后将这些补丁转换成序列数据，应用Transformer架构进行处理。ViT在图像分类、目标检测等任务上取得了与甚至超越传统卷积神经网络（CNN）的性能。 VLM（Vision Language Model）则是指那些能够处理视觉和语言双模态数据的模型。这类模型通常可以接收图像和文本作为输入，并对这两类数据进行联合处理。VLM的目的是让模型能够理解和生成图像与语言之间的关联，例如，给定一个图像，VLM能够生成描述该图像的自然语言句子，或者根据输入的描述语句，选择或生成相关的图像。VLM的这种能力使得它在图像字幕生成、视觉问答（VQA）、跨模态检索等领域非常有用。 VLM和ViT的关系在于，ViT可以作为VLM中处理视觉信息的组成部分，VLM往往整合了ViT来处理图像输入，同时可能还包括处理语言信息的其他组件，如NLP中的Transformer模型。在某些高级的VLM中，ViT可以帮助模型更好地理解图像内容，从而使其在联合处理视觉和语言信息时更加高效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值