BEI III-CSDN博客

原创 MG-LLaVA: 处理多种粒度的视觉输入

本文引入了一种名为MG-LLaVA的先进多模态模型，该模型能够处理多种粒度的视觉输入，包括对象级特征、低分辨率图像和高分辨率图像。这一进步显著增强了MLLMs在视觉感知和理解方面的能力

2024-10-28 15:11:30 569

原创 Monkey : Image Resolution and Text Label Are Important Things for Large Multi-modal Models

Monkey提出了一种自动多层次描述生成方法，通过结合多个先进的系统（如BLIP2、PPOCR、GRIT、SAM和ChatGPT），生成高质量、丰富的描述数据，以弥补现有数据集的不足。无需预训练，支持分辨率高达1344×896。上下文关联。我们引入了一种多级描述生成方法，提高了模型掌握多个目标之间关系的能力，并更有效地利用常识来生成文本描述。在许多评估数据集的性能增强。

2024-10-14 11:53:40 951

原创 FlexAttention for Efficient High-Resolution Vision-Language Models

现有的VLMs在处理高分辨率图像时存在局限性。许多模型虽然能够处理高分辨率图像，但它们需要对所有高分辨率图像块进行密集计算，这会消耗大量的计算资源。这种处理方式与人类视觉推理的方式不符，人类通常首先保持粗略的图像表示，只有在需要时才关注特定区域以获取更多细节--高分辨率VLMs需要灵活动态地关注基于低分辨率特征的兴趣区域，用于高分辨率细节检索。

2024-09-25 13:50:44 610

原创 HiRes-LLaVA

HiRes-LLaVA阅读笔记，这是一种在不破坏原始上下文和空间几何形状的情况下将高分辨率数据集成到 LVLM 中的有效方法。

2024-09-22 12:39:34 518

原创 Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs

本文主要介绍了作者针对多模态语言模型（Multimodal Language Models, MLLMs）中存在的视觉能力不足问题所进行的研究。作者通过设计了Multimodal Visual Patterns (MMVP) benchmark和Visual Question Answering (VQA) benchmark，通过构建问题和图像对来评估MLLMs的视觉能力，发现当前的MLLMs在处理基本视觉问题时存在困难。作者提出了Mixture-of-Features (MoF)方法来改善MLLMs的视

2024-09-19 15:05:57 725