港中文：标记语言生成优化LLM文档理解

📖标题：Adaptive Markup Language Generation for Contextually-Grounded Visual Document Understanding
🌐来源：arXiv, 2505.05446

🌟摘要

🔸随着文本丰富的视觉内容的增加，视觉文档理解变得至关重要。由于需要有效整合视觉感知和文本理解，该领域提出了重大挑战，特别是在具有复杂布局的不同文档类型中。此外，该领域现有的微调数据集往往不足以提供用于稳健理解的详细上下文信息，导致视觉元素之间的幻觉和对空间关系的理解有限。
🔸为了应对这些挑战，我们提出了一种创新管道，它利用标记语言的自适应生成，例如 Markdown、JSON、HTML 和 TiKZ，以构建高度结构化的文档表示并提供基于上下文的响应。我们引入了两个细粒度的结构化数据集：DocMark-Pile，包含大约 380 万个用于文档解析的预训练数据对，DocMark-Instruct 具有 624k 个用于接地指令的微调数据注释。
🔸大量实验表明，我们提出的模型在一系列视觉文档理解基准上显着优于现有的最先进的 MLLM，促进了复杂视觉场景中的高级推理和理解能力。我们的代码和模型发布在 https://github。com/Euphora16/DocMark。

🛎️文章简介

🔸研究问题：如何有效理解和解析复杂的视觉文档？
🔸主要贡献：论文提出了一种自适应标记语言生成的管道，并引入了两个精细化的结构化数据集（DocMark-Pile和DocMark-Instruct），显著提升了文档解析和推理任务的性能。

📝重点思路

🔸设计了一个自适应标记语言生成管道，通过多任务预训练提升模型对多种文档格式的理解能力。
🔸使用DocMark-Pile数据集进行模型的预训练，以增强标记语言解析能力。
🔸利用DocMark-Instruct数据集进行微调，构建上下文驱动的推理能力。
🔸结合多种标记语言（如Markdown、LaTeX、HTML等）以覆盖不同文档理解场景。

🔎分析总结

🔸实验表明，模型在不同大小的多模态LLM上均优于现有最先进的模型，在标记解析和下游推理任务中表现出色。
🔸DocMark-Pile和DocMark-Instruct数据集的引入显著提高了模型在复杂文档格式解析和推理任务中的准确性。
🔸通过对比实验，证明了自适应生成的标记语言能够有效支持更复杂的推理任务，减少了因缺乏上下文而导致的幻觉现象。

💡个人观点

论文的创新点在于通过自适应生成标记语言的方法，极大地增强了模型的推理能力和文档理解能力，使其在处理复杂文档格式时能够更好地模拟人类的思维过程。

🧩附录