多模态大模型 intern_vl 2.0版本解读

已于 2024-08-06 16:29:36 修改
阅读量4.9k 收藏 18
点赞数 32
CC 4.0 BY-SA版权
分类专栏： LLM 面试 文章标签： 人工智能
于 2024-08-06 16:05:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baoyan2015/article/details/140955945

目录

更大规模的语言模型

多模态输入

多任务输出

性能表现

github:GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的可商用开源多模态对话模型

论文：https://arxiv.org/pdf/2404.16821（还是internvl1.5）

Type Model Date HF Link MS Link Document
Multimodal Large Language Models InternVL2-1B 2024.07.08 🤗 link 🤖 link 📖 doc
InternVL2-2B 2024.07.04 🤗 link 🤖 link 📖 doc
InternVL2-4B 2024.07.04 🤗 link 🤖 link 📖 doc
InternVL2-8B 2024.07.04 🤗 link 🤖 link 📖 doc
InternVL2-26B 2024.07.04 🤗 link 🤖 link
最低0.47元/天 解锁文章

200万优质内容无限畅学
（一）多模态大模型系列-InternVL2
昆兰.沃斯 的博客
10-29 2245
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
从图像到万象，InternVL 2.0 书生·万象多模态大模型发布！
强化学习曾小健
07-23 2627
目录收起代码开源/模型使用方法：76B大模型，司南评测优于GPT-4O8B端侧小模型，消费级单卡可部署试用Demo：正文开始！
陆续放榜！CVPR'24的自动驾驶热点方向有哪些？
CV_Autobot的博客
03-03 460
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心『CVPR 2024』技术交流群作者| 自动驾驶Daily编辑 | 自动驾驶之心CVPR24审稿结果陆续出来了，今天自动驾驶Daily为大家盘点下自动驾驶与CV领域的一些优秀工作，还在持续更新中...端到端自动驾驶Is Ego Status All You Need for Open-Loop...
[特殊字符]挑战Gemini 2.5！最强开源企业级OCR大模型InternVL3！本地部署教程+实战测评全纪录，轻松搞定潦草手写汉字、模糊PDF扫描件、模糊复杂表格，效果炸裂超过人眼！
m0_71165399的博客
04-20 1068
近日，一个重量级的开源多模态大语言模型（MLLM）新星横空出世。由上海人工智能实验室、商汤科技研究院等多家机构联合开发的InternVL3模型，以其卓越的性能和创新的架构设计，正在重新定义开源多模态模型的发展边界。InternVL3模型采用了一种称为"原生多模态预训练"的创新方法，与传统模型不同，它没有先训练纯文本大语言模型再适配视觉输入，而是在单一预训练阶段同时从多样化的多模态数据和纯文本语料中共同学习语言能力和多模态能力。这种统一的训练范式有效解决了传统MLLM训练流程中常见的复杂性和对齐挑战。
VLMEvalKit 评测实践:InternVL2 VS Qwen2VL
m0_55303420的博客
09-16 3694
多模态技术的突破，正在改变我们理解和交互世界的方式。无论是强大的感知能力、复杂的推理分析，还是图文融合的创新应用，InternVL2 与 Qwen2-VL 展现了大模型的无限可能。
【LLM多模态】InternVL模型架构和训练过程
热门推荐
发现问题，并解决问题，批判性思维
07-13 1万+
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
【InternVL 1.5】最强开源多模态大模型（性能比肩GPT-4V）
寻道AI，探索AI无限可能！
06-25 5039
在人工智能的浪潮中，多模态大模型（MLLM）正成为推动技术革新的关键力量。它们融合了视觉和语言等多种模态的信息处理能力，旨在实现更深层次的智能理解。随着深度学习技术的突飞猛进，2023年见证了多模态大模型的显著进展，其中OpenAI的GPT-4v和Google的Gemini模型尤为引人注目。然而，尽管商业模型不断突破，开源领域一直缺少一个能够匹敌的多模态基础模型，直至InternVL 1.5的横空出世。
多模态大模型微调-基于Lora对Qwen-VL多模态大模型进行微调-附项目源码+流程教程-优质项目实战.zip
10-16
本项目为多模态大模型微调的一个具体案例，其核心在于利用Lora技术对Qwen-VL多模态大模型进行微调。该项目提供了详尽的源码和流程教程，不仅包括了微调的基本步骤和方法，还包括了如何设置实验环境、准备数据集、...
多模态大模型推理测试可视化平台Web-Streamlit版-支持Qwen2.5/InternVL3/Kimi三大模型-支持transformers/vllm推理引擎
最新发布
05-31
这是一款基于Streamlit开发的专业级多模态大模型推理测试平台，集成了当前最主流的三大视觉语言模型：阿里巴巴Qwen2.5-VL、上海AI实验室InternVL3和月之暗面Kimi-VL。该平台提供完整的Web界面，支持图文混合输入，...
【深度学习框架】基于PyTorch 2.0的多模态大模型训练全流程解析：从基础原理到实战案例
04-24
内容概要：本文详细介绍了如何使用 PyTorch 2.0 训练多模态大模型。首先阐述了多模态大模型的概念及其在自然语言处理、图像识别、语音识别等领域的应用价值。接着分析了多模态大模型的核心原理，包括表示学习、跨...
大模型部署-在V100上部署InternVL多模态大模型-附项目源码-优质项目实战.zip
08-20
大模型部署_在V100上部署InternVL多模态大模型_附项目源码_优质项目实战
多模态视觉模型InterVL
CherryXieのblog
01-08 1262
InternVL 是由上海人工智能实验室（Shanghai AI Laboratory）及其合作伙伴开发的开源多模态大语言模型（MLLM）系列，旨在缩小开源模型与商业模型（如 GPT-4V、Gemini 等）在多模态理解能力上的差距。InternVL 系列模型在视觉、语言和多模态任务中表现出色，尤其在处理高分辨率图像、多语言支持和复杂场景理解方面具有显著优势。
（十一）关于InternVL2的模型结构——源码解析InternVL2的网络结构（modeling_internvl_chat.py）
昆兰.沃斯 的博客
11-25 465
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
InternLM/InternVL系列多模态大模型核心技术解析
cnzzs的博客
07-29 2886
前言作者：DefTruth，AI Infra，暨南大学(JNU) 本文主要是记录一下关于多模态大模型InternLM/InternVL系列的一些要点的理解。还是那句话，好记性，不如烂笔头。本文当成个人笔记用，行文风格和先前写的LLaVA系列一致。本文的重点是讲解多模态模型InternVL 1.5，但是InternVL 1....
第一篇：学习InternVL2.0（跑通代码版）
qq_69051120的博客
12-15 1076
InternVL2.0的代码跑通
开源最强多模态大模型InternVL 2.0是怎么炼成的？
青年AI研究员idea加油站，AI开发者的新能源充电桩。
08-06 793
青稞Talk主页：qingkelab.github.io/talks所有直播回放：https://appodzjvyp51702.h5.xiaoeknow.com随着大语言模型的兴起，多模态大模型也取得了显著进步，推动了复杂的视觉语言对话和交互，弥合了文本与视觉信息之间的鸿沟。然而，现有的开源模型与商用闭源模型（如GPT-4o和Gemini 1.5 Pro）之间的能力差距仍然显著。InternVL 2.0，中文名称为"书生·万象”，是“开源社区最强多模态大模型”。
第二篇：学习InternVL2.0（探讨代码之数据预处理版）
qq_69051120的博客
12-23 1095
InternVL数据预处理
InternVL源码解析 之训练脚本internvl2_40b_hermes2_yi_34b_dynamic_res_2nd_finetune_full.sh internvl_chat_finet
强化学习曾小健
08-07 803
这是一个用于多模态任务训练的 Bash 脚本。set -xshell 的调试模式集群分区名每个节点的 GPU 数量每个任务的 CPU 核心数每个设备的批次大小TensorFlow 日志级别14-18. 设置输出目录并创建(如果不存在)19-50. 使用srun这个脚本主要用于在一个多节点、多 GPU 的环境中微调一个大型多模态模型(InternVL2-40B)。它使用了 DeepSpeed 进行分布式训练,并采用了许多优化技巧,如梯度检查点、动态图像大小等。
InternVL: 开创性的开源多模态大模型家族
Nifc666的博客
10-18 1372
总的来说,InternVL项目为开源社区带来了一套强大的多模态AI模型,在缩小与商业闭源模型的差距方面迈出了重要一步。在英文Flickr30K和COCO数据集上,InternVL-G模型的平均召回率达到88.8%,超过了EVA-CLIP-8B等强大基线。在ImageNet等图像分类数据集上,InternViT-6B的线性探测准确率超过了ViT-22B等更大的模型。在零样本图像分类上,InternVL-C模型在多个数据集上接近或超过了ViT-22B的表现。
多模态大模型qwen_vl开源项目
03-29
### Qwen-VL 多模态大模型的开源项目地址 Qwen-VL 是通义千问系列中的多模态预训练模型之一，专注于视觉与语言的理解和生成能力。其相关研究和技术细节已经在学术界公开发布，并提供了相应的开源实现。 对于 Qwen-VL 的具体开源项目地址，可以参考以下链接： - **GitHub 仓库**: ```plaintext https://github.com/QwenLM/Qwen2-VL ``` 该仓库包含了 Qwen2-VL 的核心代码以及其实现方法[^2]。通过此链接，开发者能够获取到完整的训练脚本、推理代码以及其他辅助工具，从而支持从零开始构建或微调自己的多模态模型。 此外，在实际应用过程中，如果需要进一步了解如何部署或者优化这些模型，则可查阅官方文档及配套教程。例如，《Qwen-VL多模态大模型实践指南》提供了一个详细的入门流程说明，帮助用户快速上手并掌握关键技术要点[^1]。 最后值得注意的是，尽管当前版本已经开放了许多资源供公众使用，但由于某些特定功能可能涉及敏感数据处理或其他限制条件，部分高级特性或许仍处于闭源状态。因此建议密切关注官方更新动态以便及时获得最新进展信息。 ```python import torch from transformers import AutoTokenizer, AutoModelForVisionTextTasks # 加载 tokenizer 和模型 tokenizer = AutoTokenizer.from_pretrained("QwenLM/Qwen2-VL") model = AutoModelForVisionTextTasks.from_pretrained("QwenLM/Qwen2-VL") # 假设输入图像路径为 image_path image_input = ... # 图像预处理逻辑省略 text_input = "描述这张图片的内容" inputs = tokenizer(text=text_input, images=image_input, return_tensors="pt", padding=True) with torch.no_grad(): outputs = model(**inputs) print(outputs.logits.argmax(-1)) ``` 上述代码片段展示了基于 Hugging Face Transformers 库加载 Qwen2-VL 模型的一个简单例子，便于理解其基本操作方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

samoyan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值