字节、华师、华科联合提出TextSquare，8B参数量的文字多模态大模型指标逼近GPT4V...-CSDN博客

关注公众号，发现CV技术之美

引言

近期多模态大模型(MLLM)在文本中心的VQA领域取得了显著进展，尤其是多个闭源的例如GPT4V和Gemini，甚至在某些方面展现了超越人类的能力。但是开源模型的性能还远远落后于闭源模型，最近许多开创性的研究例如MonKey、LLaVAR、TG-Doc、ShareGPT4V等已开始关注指令微调数据不足的问题，尽管这些努力取得了显著的效果，但仍存在一些问题，图像描述数据和VQA数据属于不同的领域，图像内容呈现的粒度和范围存在不一致性。此外，合成数据的规模相对较小，使得MLLM无法充分发挥潜力。

论文地址：https://arxiv.org/abs/2404.12803

为了减少这一差距，来自字节跳动&华东师大&华中科大的研究员提出了一种新的策略，称为Square，即从先进的闭源MLLMs中获得大量高质量的以文本中心的VQA数据，并构建了一个千万级指令微调数据集（Square-10M）。

这个方法包括四个步骤：自问(Self-Questioning)、回答(Self-Answering)、推理(Self-Reasoning)和评估(Self-Evalution)。

Self-Questioning利用MLLM在文本图像分析和理解方面的能力生成与图像中文本内容相关的问题。

Self-Answering利用各种提示技术如思维链CoT和少样本提示回答这些问题。

Self-Reasoning利用MLLMs强大的推理能力生成模型背后的推理过程。

Self-Evalution评估问题的有效性、与图像文本内容的相关性以及答案的正确性，从而提高数据质量并减少幻觉。

图1 TextSquare和先进的闭源、开源模型的比较，在10个文本相关的benchmark上的平均排名超越了GPT4V（排名2.2 vs. 2.4）

基于Square方法，研究者从各种公共来源收集了一组多样化的含有大量文本的图像，包括自然场景、图表、表单、收据、书籍、PPT、PDF等构建了Square-10M，并基于这个数据集训练了以文本理解为中心的MLLM TextSquare-8B。

如图1所示，TextSquare-8B在多个benchmark可取得与GPT4V和Gemini相媲美或更优的效果，并显著超过了其他开源模型。

TextSquare实验验证了推理数据对VQA任务的积极影响，证明了其能够在减少幻觉的同时提升模型性能。

此外，通过利用大规模的数据集，揭示了指令调整数据规模、训练收敛损失和模型性能之间的关系，尽管少量的指令调整数据可以很好地训练MLLM，随着指令调整数据的不断扩大，模型的性能能得到进一步增长，指令微调数据和模型直接也存在着相应的scaling law。

图2 VQA数据合成的流程，包括数据生成（Self-Questioning、 Answering、Reasoning）、数据过滤（Evaluation）2个阶段

图3 Square-10M的图像分布和QA分布等详细情况

数据收集

数据收集策略的主要目标是涵盖广泛的现实世界文本丰富的场景。为此，研究者收集了380万张的富文本的图像。

这些图像表现出不同的特性，例如，图表和表格侧重于具有密集统计信息的文本元素；PPT、屏幕截图和WebImage是为文本和突出视觉信息之间的交互而设计的；文档/PDF、收据和电子商务包含具有精细和密集文本的图像；街景源于自然场景。收集到的图像形成了现实世界中文本元素的映射，并构成了研究以文本为中心的VQA的基础。

数据生成

研究者利用Gemini Pro的多模态理解能力从特定数据源选择图像，并通过自问、自答、自我推理三个阶段生成VQA及推理上下文对。

Self-Question: 这个阶段会给定一些prompt，Gemini Pro会根据这些提示对图像进行全面分析，并根据理解去生成一些有意义的问题。

考虑到通用MLLM对文本元素的理解能力通常会比视觉模型弱，我们通过专门的OCR模型将提取的文本预处理到prompt中去。

Self-Answering: Gemini Pro对生成问题会利用思维链(CoT)和少样本提示(few-shot prompting)等技术丰富上下文信息，提高生成答案的可靠性。

Self-Reasoning: 这个阶段会生成答案的详细原因，迫使Gemini Pro更多的思考问题和视觉元素之间的联系，从而减少幻觉并提高准确的答案。

数据过滤

尽管自我提问、回答和推理是有效的，但生成的图像-文本对可能面临幻觉内容、无意义问题和错误答案。因此，我们设计了基于LLM的评估能力的过滤规则，以选择高质量的VQA对。

Self-Evaluation 提示Gemini Pro和其他MLLMs判断生成的问题是否有意义，以及答案是否足以正确解决问题。

Multi-Prompt Consistency 除了直接评估生成的内容外，研究者还在数据生成中手动增加提示和上下文空间。当提供不同的提示时，一个正确且有意义的VQA对应该在语义上一致。

Multi-Context Consistency 研究者通过在问题前准备不同的上下文信息来进一步验证VQA对。

TextSquare-8B

TextSquare-8B借鉴了InternLM-Xcomposer2的模型结构，包括CLIP ViT-L-14-336的视觉Encoder，图像分辨率进一步提升至700；基于InternLM2-7B-ChatSFT的大语言模型LLM；一个对齐视觉和文本token的桥接器projector。

TextSquare-8B的训练包括三阶段的SFT:

第一阶段，以490的分辨率全参数(Vision Encoder, Projector, LLM)微调模型。
第二阶段，输入分辨率增加到700，只训练Vision Encoder以适应分辨率变化。
第三阶段，进一步以700的分辨率进行全参数微调。

TextSquare证实，在Square-10M数据集的基础上，具有8B参数和正常大小图像分辨率的模型可以在以文本为中心的VQA上实现超过了大多数的MLLM，甚至是闭源模型(GPT4V、Gemini Pro)的效果。

实验结果

图4（a）显示TextSquare具有简单的算术功能。图4（b）显示了理解文本内容并在密集文本中提供大致位置的能力。图4（c）显示了TextSquare对表格结构的理解能力。

MLLM Benchmark

Document-Oriented Benchmark 在文档场景的VQA Benckmark(DocVQA、ChartQA、InfographicVQA)上平均提升3.5%，优于所有开源模型，在ChartQA数据集上略高于GPT4V和Gemini Pro，该模型分辨率仅700，小于大多数面向文档的MLLM，如果分辨率进一步提高，相信模型性能也将进一步提高，Monkey已证明这一点。

Scene Text-centric Benchmark 自然场景的VQA Benchmark(TextVQA、AI2D)中取得了SOTA的效果，但与baseline Xcomposer2相比没有较大改进，可能是因为Xcomposer2已经用了高质量的域内数据进行了充分优化。

Table VQA Benchmark 表格场景的VQA Benchmark(WTQ、TabFact)中取得到远超GPT4V及Gemini Pro的效果，分别超过其他SOTA模型3%。

Text-centric KIE Benchmark 文本中心的关键信息提取KIE任务的benchmark(SROIE、POIE)，将KIE任务转换成VQA任务，在两个数据集都取得了最佳的性能，平均提升14.8%。

OCRBench 包括文本识别、公式识别、文本中心VQA、KIE等29项OCR相关的评估任务，取得了开源模型的最佳性能，并成为第一个10B左右参数量达到600分的模型。

General VQA and Hallucination Evaluation Benchmark 在通用的VQA Benchmark(VizWiz VQAv2、GQA、POPE)上TextSquare相较于Xconposer2没有显著退化，仍然保持着最佳的性能，在VisWiz和POPE表现出显著的性能，比各最佳的方法高出3.6%，这突出了该方法的有效性，能减轻模型幻觉。