智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

最新推荐文章于 2024-09-27 15:50:18 发布

努力犯错

最新推荐文章于 2024-09-27 15:50:18 发布

阅读量1.3k

点赞数 28

文章标签：深度学习人工智能语言模型计算机视觉自然语言处理

本文链接：https://blog.csdn.net/nulifancuoAI/article/details/139308024

版权

前言

多模态大模型（MLLM）是近年来人工智能领域最热门的研究方向之一，其能够融合图像、文本等多种模态信息，实现更强大、更灵活的应用。然而，现有的主流多模态模型多以英文为训练语言，在中文理解方面存在着明显的短板。为了突破这一局限，智谱 AI 团队推出了新一代中文多模态大模型 CogVLM2，并将其开源，为中文多模态领域的发展贡献力量。

Huggingface模型下载：https://huggingface.co/THUDM/cogvlm2-llama3-chinese-chat-19B
AI快站模型免费加速下载：https://aifasthub.com/models/THUDM

技术特点

CogVLM2 继承并优化了上一代模型的经典架构，采用了一个拥有 50 亿参数的强大视觉编码器，并创新性地在大语言模型中整合了一个 70 亿参数的视觉专家模块。这一模块通过独特的参数设置，精细地建模了视觉与语言序列的交互，确保了在增强视觉理解能力的同时，不会削弱模型在语言处理上的原有优势。这种深度融合的策略，使得视觉模态与语言模态能够更加紧密地结合。

核心优势：

深度融合： 视觉专家模块深度融合于语言模型中，实现视觉与语言的深度交互，提升多模态理解能力。
高效推理： 尽管总参数量为 190 亿，但实际推理时仅激活约 120 亿参数，提高了推理效率。
高分辨率支持： 支持高达 1344 分辨率的图像输入，提升了对高分辨率图像的处理能力。
中英文双语支持： 提供支持中英文双语的开源模型版本，扩展了模型的应用范围。

CogVLM2 的性能表现

为了更为严格地验证 CogVLM2 的性能和泛化能力，智谱 AI 团队在一系列多模态基准上进行了定量评估。这些基准包括 TextVQA、DocVQA、ChartQA、OCRbench、MMMU、MMVet、MMBench 等，涵盖了图像文本理解、OCR、图表理解、跨学科推理等多个方面。

测试结果表明：

CogVLM2 在多个基准测试中取得了 SOTA 性能，性能接近或超过了 GPT-4V，例如在 OCRbench 基准上性能提升 32%，在 TextVQA 基准上性能提升 21.9%。
在处理中文任务方面，CogVLM2 展现出了更强大的能力，能够更准确地理解中文文本和图像，并生成符合中文语境的答案。