国产7B大模型InternLM-XComposer媲美GPT-4V | 新增“多图多轮对话、指令生成网页、图文混排”等实用功能！-CSDN博客

本文链接：https://blog.csdn.net/sinat_37574187/article/details/140544660

国产7B大模型InternLM-XComposer媲美GPT-4V | 新增“多图多轮对话、指令生成网页、图文混排”等实用功能！

原创 AI产品汇 AI产品汇 2024年07月19日 07:20 广东

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区！

“ 书生浦语系列的多模态大模型是上海人工智能研究院推出的国产的多模态大模型。当前已经经历了几次大的迭代，具体包括：InternLM-XComposer、InternLM-XComposer2、InternLM-XComposer2-4KHD、InternLM-XComposer2.5。大模型的各项能力也得到了全面的提升，除了支持一些基础的功能之外，还支持一些很实用的功能，例如：支持4K图片理解、多轮多图对话、根据简历或者指令快速生成Web主页、图文混排等特点功能。本文介绍了InternetLM-XComposer-2.5（IXC-2.5），这是一个支持长上下文输入和输出的通用大型视觉语言模型。IXC-2.5擅长于各种文本图像理解和合成应用程序，仅需7B LLM后端即可实现GPT-4V级别的功能。”

代码链接-https://github.com/InternLM/InternLM-XComposer

论文链接-https://arxiv.org/abs/2407.03320

01-书生·浦语2简介

，时长01:17

InternetLMXComposer2-4KHD，即书生浦语2是一个多模态大模型，这是一项突破性的探索，旨在将LVLM分辨率提高到4K HD（3840×1600）及以上。同时，考虑到超高分辨率可能并非在所有情况下都是必要的，它支持从336像素到4K标准的各种不同分辨率，大大拓宽了其适用范围。

具体而言，本研究通过引入一种新的扩展：具有自动补丁配置的动态分辨率，推进了补丁划分范式。它保持训练图像纵横比，同时自动改变补丁计数，并基于预训练的视觉转换器（ViT）（336×336）配置布局，从而实现从336像素到4K标准的动态训练分辨率。

大量的实验研究表明，将训练分辨率扩展到4K HD可以实现一致的性能增强，而不会达到潜在改进的上限。InternetLM-XCompose