本文是LLM系列文章,针对《TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models》的翻译。
摘要
多模态大型语言模型(MLLM)在各种多模态任务上显示出令人印象深刻的结果。然而,大多数现有的MLLM并不适合面向文档的任务,这些任务需要细粒度的图像感知和信息压缩。在本文中,我们介绍了TextHawk,这是一种专门为面向文档的任务设计的MLLM,同时保留了MLLM的一般功能。TextHawk旨在通过设计四个专用组件来探索高效的细粒度感知。首先,提出了一种重新采样和重新排列(ReSA)模块,以减少文档文本中的冗余,降低MLLM的计算成本。我们通过提出可扩展位置嵌入(SPE)来探索对每个局部特征的位置进行编码,这可以保持各种图像大小的可扩展性。然后采用查询建议网络(QPN)在不同子图像之间动态初始化查询。为了进一步增强MLLM的细粒度视觉感知能力,我们设计了一种多级交叉注意力(MLCA)机制,该机制捕获了文档图像的层次结构和语义关系。此外,我们通过Gemini Pro丰富多模态文档数据,为面向文档的任务创建了一个新的指令调优数据集。我们在通用和面向文档的MLLM基准上进行了广泛的实验,结果表明TextHawk