Qwen2-VL series 技术报告解读

最新推荐文章于 2025-04-02 10:00:00 发布

zenRRan

最新推荐文章于 2025-04-02 10:00:00 发布

阅读量2.9k

点赞数 10

本文链接：https://blog.csdn.net/qq_27590277/article/details/142585786

版权

知乎：Cassie
链接：https://zhuanlan.zhihu.com/p/721908386

写在前面

Qwen团队在 2024年9月19日开源了Qwen2-VL-72B 模型，并发布了技术报告。这里简单介绍下“国货之光”——Qwen2-VL-72B 的技术细节。

1. Contributions

(1) 多语言模型

Qwen 在多语言OCR任务上的表现。

(2) 支持任意分辨率、比例的素材(img + video + text)输入，在视觉评测集(DocVQA, InfoVQA, RealWorldQA, MTVQA, MathVista等)上取得SoTA结果

当前的LVLM是把输入的图片处理成固定尺寸，例如224*224，作者认为这会限制模型捕捉不同尺度信息的能力，同时会使高分辨率图像丢失太多信息；

vision encoder的训练不够，有研究通过ft vision encoder获得了模型性能的提升；

为了提升作者对不通分辨率图片的处理能力，作者移除了绝对位置编码PE，引入了2D Rotary Position Embedd

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zenRRan

关注关注

10
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

VLM 系列——Qwen-VL 千问—— 论文解读

TigerZ*的博客

01-28

2912

Qwen-VL表示多任务训练后的模型，Qwen-VL-chat是基于Qwen-VL的指令调优（第三阶段SFT——监督微调）后的视觉语言聊天机器人。

QWEN2 TECHNICAL REPORT

c_cpp_csharp的专栏

07-23

648

本报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型的最新成员。我们发布了一套全面的基础和指令调优语言模型，参数范围从5亿到720亿，包括密集模型和混合专家模型。Qwen2超越了包括其前身Qwen1.5在内的大多数先前的开放权重模型，并在语言理解、生成、多语言能力、编码、数学和推理等不同基准上表现出与专有模型相比的竞争性能。

参与评论您还未登录，请先登录后发表或查看评论

大语言模型之Qwen2技术报告阅读笔记

David_house的博客

08-26

1680

Qwen2 包括更广泛的语言数据，提高了代码和数学内容的数量和质量所有模型都经过监督微调和直接偏好优化，通过学习人类反馈将它们与人类偏好对齐超越了大多数先前的开放权重模型，包括它的前身 Qwen1.5在语言理解、生成、多语言熟练程度、编码、数学和推理的不同基准上相对于专有模型表现出具有竞争力的性能Qwen2 展示了强大的多语言能力，精通大约 30 种语言特别是Qwen2-72B在多个评估指标上展示了显着的性能。

多模态理解-Qwen-VL系列：Qwen-VL, Qwen2-VL, Qwen2.5-VL

u012374012的专栏

03-10

1338

Qwen-VL基于预训练好的Qwen-7B，支持等功能。

Qwen2 技术报告（中文版）

热门推荐

木尧大兄弟

07-17

1万+

这篇技术报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型系列中的最新成员。我们发布了一套全面的基础和指令调整语言模型，参数范围从0.5b 到 72b，包括稠密模型和专家混合模型。Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并且与专有模型表现出竞争力。

[Qwen2-VL技术报告]: Enhancing Vision-Language Model’s Perceptionof the World at Any Resolution

zengxiaojian2的博客

11-18

1154

本文介绍了Qwen2-VL系列模型，这是对之前Qwen-VL模型的重大升级，重新定义了视觉处理中传统的固定分辨率方法。

Qwen-VL 技术报告总结

Colin_xuan的博客

02-02

2216

权重分为 Qwen-VL && Qwen-VL-Chat，区别文档稍后介绍。

Qwen-VL技术报告笔记

qq_37261783的博客

09-27

1106

之前有很多文章说qwen-vl用的是q-former的架构，这里我看并不是用了q-former的架构，只能说是用了q-former的的思想，都有一个query向量，但是q-former是一个多层的transformer架构，比较复杂（blip2-opt-2.7b包含12层的transformer，感兴趣的可以去看看源码，transformers库也集成了这个模型），这里只是用了一个交叉注意力层，简化了很多，已经有点接近于llava的架构了。数据集的信息和构建方法就不介绍了，感兴趣的可以去看原文。

通义千问(Qwen)2大模型技术报告全文翻译解读

强化学习曾小健

09-29

2342

通义千问(Qwen)2大模型技术报告全文翻译解读原创旺知识旺知识2024年07月20日 17:03广东本报告介绍了 Qwen2 系列，这是大型语言模型和大型多模态模型的最新成员。文本发布了一套全面的基础和指令调优语言模型，参数范围从 0.5 到 72 亿，包括密集模型和专家混合模型。Qwen2 超越了大多数以前的开放权重模型，包括其前身 Qwen1.5，并在语言理解、生成、多语言能力、编码、数学和推理等多个基准测试中展现出与专有模型相媲美的性能。我们翻译解读最新论文：Qwen2技术报告，

DeepSeek 资料大全，火火火！

AIGC搞起

02-11

2175

DeepSeek是一款高性能、开源的人工智能模型，具备强大的自然语言处理和多模态分析能力，支持文本、图像、视频等多种数据类型。其采用混合专家网络（MoE）等先进技术，训练和推理成本低，推理速度快。DeepSeek的开源策略降低了AI开发门槛，让更多开发者和企业能够低成本地开发AI应用。相比其他大模型，DeepSeek在复杂推理任务中表现优异，且完全免费，具有更高的性价比。

这里有关于 DeepSeek 的一切资料

AIGC搞起

02-23

998

AI 因子工程全拆解：从特征构造到策略信号的闭环设计

最新发布

在信息的熵增中，记录结构、重建秩序。技术思想者的笔记，系统构建者的注释。

04-02

1433

无论你是用最传统的 Alpha 策略，还是用最新的 GPT 多模态 Agent，最终你都绕不开一个词： > 因子（Factor）而因子，基本可以理解为—— **你用某种方式给“资产”打的分，用来选谁、选多少、什么时候出手。**

【论文解读】Qwen2.5 技术报告，非常详细收藏我这一篇就够了

2401_85390073的博客

12-26

4007

专家混合（Mixture-of-Experts，MoE）是一种神经网络架构，其中包含多个专家子网络（即“专家”），每个专家都擅长处理特定类型的数据或任务。一个路由器（路由机制）确定每个输入应由哪些专家来处理。MoE的优势：计算效率：虽然整体参数量很大，但每次推理时只激活部分专家，因此计算成本并未线性增长，提高了计算效率。能力专长：不同的专家可以专注于不同的任务或数据类型，提升模型在多样化任务上的性能。可扩展性：MoE架构可以轻松增加专家数量，从而在不显著增加计算成本的情况下提升模型容量。

QWEN2技术报告阅读笔记（第一部分，分词器和模型设计）

weixin_43913382的博客

08-19

1360

突出性能：语言理解、生成、多语言熟练程度、代码（重点提高）、数学（重点提高）和推理（间接提高）评测集：MMLU（科学知识）、GPQA（科学知识）、HumanEval（代码）、GSM8K（数学）、BBH（通用）、MT-Bench（多轮能力）、Arena-Hard（通用）、LiveCodeBench（代码）监督微调和直接偏好优化（DPO），赋予模型有效遵循指令的能力。

【LLM技术报告】Qwen2 Technical Report

强化学习曾小健

11-21

1110

自从ChatGPT问世以来，全球范围内对LLM的热情迅速升温。Llama系列的发布进一步激发了开源社区对GPT级本地LLM的兴趣。最近，Claude-3 Opus和GPT-4o作为更新的ChatGPT模型，迅速登顶Chatbot Arena（该平台以其对LLM的人工评估而著称）。此外，Llama-3作为最先进的开源权重模型系列问世，缩小了与领先的专有模型之间的性能差距，被广泛认为达到了GPT-4级别。

Qwen2.5 技术报告

m0_59082437的博客

02-13

1287

是一个综合性的大型语言模型（LLM）系列，旨在满足多样化的应用需求。与之前的版本相比，Qwen2.5 在预训练和后训练阶段均得到了显著改进。在。

代码角度，深度解析 Qwen2-VL 模型结构

Python_cocola的博客

09-12

5857

快速开始，接下来我会简单说说 Qwen2-VL 整体结构当中的几个关键的细节。帮助大家快速理解Qwen2-VL结构和其他网络结构的不同。

qwen2技术报告

Angus

07-20

1749

这篇论文是关于Qwen2系列的技术分析报告，由阿里巴巴集团的Qwen团队撰写。Qwen2是一系列大型语言模型和大型多模态模型的最新成员。引言介绍了大型语言模型（LLMs）的发展背景，特别是OpenAI的ChatGPT和Meta的Llama系列。Qwen2系列是在Qwen和Qwen1.5的基础上进一步发展的，包括基础语言模型和指令调优模型。分词器与模型描述了Qwen2使用的分词器，基于字节级别的字节对编码。介绍了Qwen2模型的架构，包括密集模型和专家混合模型（MoE）。预训练。

Qwen2.5-Math技术报告

m0_56255097的博客

11-24

1197

在完成了广泛的数学预训练之后，继续进行后训练，以进一步增强Qwen-Math的数学逻辑推理能力，特别是集中在Chain-of-Thought (CoT) 和 Tool-Integrated Reasoning (TIR) 上。如何自动生成大量高质量且可靠的CoT和TIR注释；如何有效地利用这些注释进行监督微调和强化学习。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

Qwen2-VL-7B-Instruct Qwen2-VL-7B

01-27

### Qwen2-7B-Instruct Model Information and Usage #### Overview of the Qwen2-VL-7B-Instruct Model The Qwen2-VL-7B-Instruct model is a large-scale, multi-modal language model designed to handle various natural language processing tasks with enhanced capabilities in understanding visual content. This model has been pre-trained on extensive datasets that include both textual and image data, making it suitable for applications requiring cross-modal reasoning. #### Installation and Setup To use this specific version of the Qwen2 series, one needs first to ensure proper installation by cloning or downloading the necessary files from an accessible repository. Given potential issues accessing certain websites due to geographical restrictions, users should consider using alternative mirrors such as `https://hf-mirror.com` instead of attempting direct access through sites like Hugging Face[^3]. For setting up locally: 1. Install required tools including `huggingface_hub`. 2. Set environment variables appropriately. 3. Execute commands similar to: ```bash huggingface-cli download Qwen/Qwen2-VL-7B-Instruct --local-dir ./Qwen_VL_7B_Instruct ``` This command will fetch all relevant components needed for running inference against the specified variant of the Qwen family models. #### Fine-Tuning Process Fine-tuning allows adapting pretrained weights into more specialized domains without starting training anew. For instance, when working specifically within the context provided earlier regarding Qwen2-VL, adjustments can be made via LoRA (Low-Rank Adaptation), which modifies only parts of existing parameters while keeping others fixed during optimization processes[^1]. #### Running Inference Locally Once everything is set up correctly, performing offline predictions becomes straightforward once dependencies are resolved. An example workflow might involve loading saved checkpoints followed by passing input prompts through them until outputs meet desired criteria[^2]: ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("./Qwen_VL_7B_Instruct") model = AutoModelForCausalLM.from_pretrained("./Qwen_VL_7B_Instruct") input_text = "Your prompt here" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` --related questions-- 1. What preprocessing steps must be taken before feeding images alongside text inputs? 2. How does performance compare between different quantization levels offered by GPTQ? 3. Are there any particular hardware requirements recommended for efficient deployment? 4. Can you provide examples where fine-tuned versions outperform general-purpose ones significantly?