智能文档处理：解析文档场景下多模态大模型的应用与研究前沿

一、TextIn 文档解析技术

  hello，大家好我是恒川，今天我来给大家安利一个非常好用的网站TextIn，它的第一个核心技术是这个文档解析，现存的文档解析存在一些问题，比如表格、无线表无法解析以及阅读顺序的解析错乱的问题，包括扫描版文档以及文档编码的问题等。下面我给大家举几个例子。

1. 现有大模型文档解析问题

  我们将ChatGPT里面输入了一个PDF，这个PDF显示精氨酸在40度的温度下，它的溶解度是31.9，但ChatGPT并没有将这个PDF进行准确的解析，所以他的回答是错误的。

  我们再举一个例子。

  在这个文档的致谢的过程中，我们来问他文中的致谢提到了哪四类感谢对象，实际上他的感谢对象也是错误的，那这个的原因都是在于本身这个文档的解析，阅读顺序错误导致的一些问题，那像这样的一个编码问题依然是存在这个大模型的，无论是训练还是应用的过程之中。

2. 文档解析技术背景

  在我们的日常生活中，那我们有什么样的一个诉求呢？在探索多模态大模型在不同应用领域的应用中，如文档智能分析、智能搜索、阅读顺序还原准确、支持论文和多种排版文档等。
  接下来我要通过具体案例来展示这些模型在实际应用中的效果和潜力。PDF word在扫描文件时，我们希望在训练和应用的部分可以将这个整体的一个阅读顺序进行还原，包括他的表格、段落、公式和标题相关的一些元素识别准确。以及识别的速度和多样的排版的支持，那我们来看一下在多模态大模型的预训练中，我们需要处理哪些文档？

文档示例