EVE: 揭示无编码器视觉语言模型的新时代

EVE: 无编码器视觉语言模型的突破性进展

在人工智能领域,视觉语言模型(Vision-Language Models, VLMs)一直是研究的热点。这些模型能够同时处理图像和文本信息,实现跨模态的理解和生成任务。然而,传统的VLMs通常依赖于复杂的视觉编码器来提取图像特征,这不仅增加了模型的复杂度,也限制了其灵活性和效率。近日,来自大连理工大学、北京智源人工智能研究院和北京大学的研究团队提出了一种全新的视觉语言模型——EVE(Encoder-free Vision-language modEls),这一创新性的模型设计为VLMs的发展开辟了新的方向。

突破性的无编码器架构

EVE的核心创新在于其完全摒弃了传统VLMs中常见的视觉编码器。这一大胆的设计决策源于研究团队对以下几个关键问题的深入思考:

1. 是否可以从VLMs中移除视觉编码器?
2. 如何高效且稳定地将大语言模型(LLM)转换为无编码器的VLM?
3. 如何缩小无编码器VLMs与基于编码器的VLMs之间的性能差距?

通过对这些问题的探索,研究团队成功开发出了EVE这一突破性的模型架构。EVE不仅能够处理任意宽高比的图像,而且在性能上超越了同类的无编码器模型(如Fuyu-8B),甚至接近了现有的模块化编码器based VLMs的表现水平。

高效的训练策略

EVE的成功不仅仅依赖于其创新的架构设计,还得益于研究团队采用的高效训练策略。具体来说,EVE的训