InternVL 是由上海人工智能实验室(上海AI实验室)联合清华大学、香港中文大学、商汤科技等机构开源的新一代视觉大模型。
上海 AI 实验室在视觉大模型上持续发力,在 2021 年、2022 年先后推出书生 1.0 和 InternImage,不仅及模型性能领先,还构建了视觉大模型的新架构。
新一代“书生·视觉基础”模型的视觉编码器参数量达 60 亿(InternVL-6B),首次提出对比-生成融合的渐进式对齐技术,实现了在互联网级别数据上视觉大模型与语言大模型的精细对齐。
InternVL-6B 不仅能处理复杂图片中细微的视觉信息并完成图生文任务,还可以识别和解读复杂页面中的信息,甚至解决其中的数理问题。
目前,InternVL 全系列模型、代码均已开源,并提供 Demo 试用。
开源链接:https://github.com/OpenGVLab/InternVL
论文链接:https://arxiv.org/abs/2312.14238
试用 Demo:https://internvl.opengvlab.com
在视觉感知、图文检索、图生文和多模态对话等 30 余个视觉基准测试上取得最优开源性能。
以不到 1/3 的参数量,在纯视觉任务和图生文任务上逼近或超过谷歌闭源 ViT-22B。
• 在 TinyLVLM、MMBench 等多模态大模型评测上,性能比肩 GPT4V、Gemini。