多模态大模型 intern_vl 2.0版本解读

已于 2024-08-06 16:29:36 修改
阅读量4.7k 收藏 18
点赞数 32
分类专栏： LLM 面试 文章标签： 人工智能
于 2024-08-06 16:05:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baoyan2015/article/details/140955945
版权

目录

更大规模的语言模型

多模态输入

多任务输出

性能表现

github:GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的可商用开源多模态对话模型

论文：https://arxiv.org/pdf/2404.16821（还是internvl1.5）

Type Model Date HF Link MS Link Document
Multimodal Large Language Models InternVL2-1B 2024.07.08 🤗 link 🤖 link 📖 doc
InternVL2-2B 2024.07.04 🤗 link 🤖 link 📖 doc
InternVL2-4B 2024.07.04 🤗 link 🤖 link 📖 doc
InternVL2-8B 2024.07.04 🤗 link 🤖 link 📖 doc
InternVL2-26B 2024.07.04 🤗 link
最低0.47元/天 解锁文章
（一）多模态大模型系列-InternVL2
昆兰.沃斯 的博客
10-29 2063
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
（十一）关于InternVL2的模型结构——源码解析InternVL2的网络结构（modeling_internvl_chat.py）
昆兰.沃斯 的博客
11-25 424
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
VLMEvalKit 评测实践:InternVL2 VS Qwen2VL
m0_55303420的博客
09-16 3488
多模态技术的突破，正在改变我们理解和交互世界的方式。无论是强大的感知能力、复杂的推理分析，还是图文融合的创新应用，InternVL2 与 Qwen2-VL 展现了大模型的无限可能。
vLLM 部署 InternVL2_5
最新发布
DeepHao'Blog
03-27 579
模型下载的渠道很多，这里使用 modelscope 进行下载，等，简单部署命令如下，默认使用。中给定了初始化的超参数，例如。可以看到各种路由信息。
陆续放榜！CVPR'24的自动驾驶热点方向有哪些？
CV_Autobot的博客
03-03 451
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心『CVPR 2024』技术交流群作者| 自动驾驶Daily编辑 | 自动驾驶之心CVPR24审稿结果陆续出来了，今天自动驾驶Daily为大家盘点下自动驾驶与CV领域的一些优秀工作，还在持续更新中...端到端自动驾驶Is Ego Status All You Need for Open-Loop...
从图像到万象，InternVL 2.0 书生·万象多模态大模型发布！
强化学习曾小健
07-23 2606
目录收起代码开源/模型使用方法：76B大模型，司南评测优于GPT-4O8B端侧小模型，消费级单卡可部署试用Demo：正文开始！
【LLM多模态】InternVL模型架构和训练过程
发现问题，并解决问题，批判性思维
07-13 9940
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
【InternVL 1.5】最强开源多模态大模型（性能比肩GPT-4V）
寻道AI，探索AI无限可能！
06-25 4950
在人工智能的浪潮中，多模态大模型（MLLM）正成为推动技术革新的关键力量。它们融合了视觉和语言等多种模态的信息处理能力，旨在实现更深层次的智能理解。随着深度学习技术的突飞猛进，2023年见证了多模态大模型的显著进展，其中OpenAI的GPT-4v和Google的Gemini模型尤为引人注目。然而，尽管商业模型不断突破，开源领域一直缺少一个能够匹敌的多模态基础模型，直至InternVL 1.5的横空出世。
多模态视觉模型InterVL
CherryXieのblog
01-08 1100
InternVL 是由上海人工智能实验室（Shanghai AI Laboratory）及其合作伙伴开发的开源多模态大语言模型（MLLM）系列，旨在缩小开源模型与商业模型（如 GPT-4V、Gemini 等）在多模态理解能力上的差距。InternVL 系列模型在视觉、语言和多模态任务中表现出色，尤其在处理高分辨率图像、多语言支持和复杂场景理解方面具有显著优势。
说一说internVL2的基本原理
强化学习曾小健
08-22 491
多模态编码器是一种能够处理和融合来自不同模态（如文本、图像、视频等）信息的模型架构。它通过对不同类型的数据进行编码，提取出各自的特征，并在一个统一的空间中进行对齐和融合，从而实现更深层次的理解和推理。
InternLM/InternVL系列多模态大模型核心技术解析
cnzzs的博客
07-29 2689
前言作者：DefTruth，AI Infra，暨南大学(JNU) 本文主要是记录一下关于多模态大模型InternLM/InternVL系列的一些要点的理解。还是那句话，好记性，不如烂笔头。本文当成个人笔记用，行文风格和先前写的LLaVA系列一致。本文的重点是讲解多模态模型InternVL 1.5，但是InternVL 1....
第一篇：学习InternVL2.0（跑通代码版）
qq_69051120的博客
12-15 1004
InternVL2.0的代码跑通
开源最强多模态大模型InternVL 2.0是怎么炼成的？
青年AI研究员idea加油站，AI开发者的新能源充电桩。
08-06 716
青稞Talk主页：qingkelab.github.io/talks所有直播回放：https://appodzjvyp51702.h5.xiaoeknow.com随着大语言模型的兴起，多模态大模型也取得了显著进步，推动了复杂的视觉语言对话和交互，弥合了文本与视觉信息之间的鸿沟。然而，现有的开源模型与商用闭源模型（如GPT-4o和Gemini 1.5 Pro）之间的能力差距仍然显著。InternVL 2.0，中文名称为"书生·万象”，是“开源社区最强多模态大模型”。
第二篇：学习InternVL2.0（探讨代码之数据预处理版）
qq_69051120的博客
12-23 1008
InternVL数据预处理
InternVL源码解析 之训练脚本internvl2_40b_hermes2_yi_34b_dynamic_res_2nd_finetune_full.sh internvl_chat_finet
强化学习曾小健
08-07 779
这是一个用于多模态任务训练的 Bash 脚本。set -xshell 的调试模式集群分区名每个节点的 GPU 数量每个任务的 CPU 核心数每个设备的批次大小TensorFlow 日志级别14-18. 设置输出目录并创建(如果不存在)19-50. 使用srun这个脚本主要用于在一个多节点、多 GPU 的环境中微调一个大型多模态模型(InternVL2-40B)。它使用了 DeepSpeed 进行分布式训练,并采用了许多优化技巧,如梯度检查点、动态图像大小等。
InternVL: 开创性的开源多模态大模型家族
Nifc666的博客
10-18 1272
总的来说,InternVL项目为开源社区带来了一套强大的多模态AI模型,在缩小与商业闭源模型的差距方面迈出了重要一步。在英文Flickr30K和COCO数据集上,InternVL-G模型的平均召回率达到88.8%,超过了EVA-CLIP-8B等强大基线。在ImageNet等图像分类数据集上,InternViT-6B的线性探测准确率超过了ViT-22B等更大的模型。在零样本图像分类上,InternVL-C模型在多个数据集上接近或超过了ViT-22B的表现。
书生·浦语 大模型实战营（第三期） 进阶岛 第 4关 InternVL 多模态模型部署微调实践
Pythonliu7的博客
08-25 1184
是一种用于的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。
InternVL 多模态模型部署微调实践
weixin_42037035的博客
08-21 952
nternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
写出银行管理系统源代码： 要求：用单例模式实现ManagerImpl对象的创建。 架构的搭建，实现分层开发，完成存款、取款、查询、退出系统等基本功能。 包名：com.cx.bank.test (测试层) TestBank 测试类（该类通过：1代表查询、2代表取款、3代表存款功能， 4代表退出系统 来调用业务层的各个方法） 包名：com.cx.bank .manager （业务层） ManagerImpl业务类：单例模式 ManagerImpl类的方法： inquiry()---查询方法 withdrawals()---取款方法（实现“余额不足”逻辑判断） deposit()---存款方法（实现“存款不能为负”逻辑判断） exitSystem（）---退出系统方法 包名:com.cx.bank.model (模型层) MoneyBean 实体类（该类有一个money属性）
06-12
抱歉，我无法提供完整的源代码，但是我可以给您提供一个基本的框架和示例代码。 首先是ManagerImpl类的单例模式实现： ```java package com.cx.bank.manager; public class ManagerImpl implements Manager { // 单例模式实现 private static ManagerImpl instance; private ManagerImpl() {} public static synchronized ManagerImpl getInstance() { if (instance == null) { instance = new ManagerImpl(); } return instance; } // 实现接口中的方法 public void inquiry() { // 查询方法的实现 } public void withdrawals(double amount) { // 取款方法的实现 } public void deposit(double amount) { // 存款方法的实现 } public void exitSystem() { // 退出系统方法的实现 } } ``` 接下来是MoneyBean实体类： ```java package com.cx.bank.model; public class MoneyBean { private double money; public MoneyBean() {} public MoneyBean(double money) { this.money = money; } public double getMoney() { return money; } public void setMoney(double money) { this.money = money; } } ``` 最后是TestBank测试类： ```java package com.cx.bank.test; import com.cx.bank.manager.ManagerImpl; import java.util.Scanner; public class TestBank { public static void main(String[] args) { ManagerImpl manager = ManagerImpl.getInstance(); Scanner scanner = new Scanner(System.in); int choice = 0; do { System.out.println("请选择功能："); System.out.println("1. 查询余额"); System.out.println("2. 取款"); System.out.println("3. 存款"); System.out.println("4. 退出系统"); choice = scanner.nextInt(); switch (choice) { case 1: // 查询余额 manager.inquiry(); break; case 2: // 取款 System.out.println("请输入取款金额："); double withdrawAmount = scanner.nextDouble(); manager.withdrawals(withdrawAmount); break; case 3: // 存款 System.out.println("请输入存款金额："); double depositAmount = scanner.nextDouble(); manager.deposit(depositAmount); break; case 4: // 退出系统 manager.exitSystem(); break; default: System.out.println("输入有误，请重新输入！"); break; } } while (choice != 4); } } ``` 以上代码只是一个基本的框架和示例，具体的实现还需要根据具体需求进行修改和完善。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

samoyan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值