加速文档解析与向量化技术：实现多模态大模型训练与应用

最新推荐文章于 2024-09-11 17:07:05 发布

程序员鬼鬼

最新推荐文章于 2024-09-11 17:07:05 发布

阅读量1k

点赞数 21

文章标签： AI编程 chatgpt AIGC 人工智能深度学习

本文链接：https://blog.csdn.net/shanguicsdn111/article/details/140052953

版权

加速文档解析与向量化技术：实现多模态大模型训练与应用

```
* 摘要：
```
- 引言：
1.当下文档解析得到痛点
```
*       * 1.1大模型文档解析问题
```
- 1.2 版面检测问题
- 1.3 阅读顺序还原问题
- 1.4 表格还原
- 1.5 公式识别难点
2.TextIn 文档解析技术
```
*       * 2.1 解决版面分析
```
- 2.2 解决文档树提取
- 2.3 大模型技术与TextIn更好的兼容性
- 2.3 acge模型获得MTEB中文榜单第一名（C-MTEB）
3. TextIn文字智能平台
```
* 总结
```

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/1df17061b75e45109e623dcfe3dc28d0.png)

博主默语带您 Go to New World.
✍ **个人主页—— 默语的博客👦🏻
《java
面试题大全》
《java 专栏》
🍩惟余辈才疏学浅，临摹之作或有不妥之处，还请读者海涵指正。☕🍭

《MYSQL从入门到精通》数据库是开发者必会基础之一~
🪁 吾期望此文有资助于尔，即使粗浅难及深广，亦备添少许微薄之助。苟未尽善尽美，敬请批评指正，以资改进。！💻⌨**

摘要：

本文介绍了当前大型模型文档解析面临的问题，包括版面检测、阅读顺序还原、表格还原和公式识别等技术挑战。针对这些问题，介绍了TextIn文档解析技术和文字向量化技术的应用，以及TextIn平台的产品和服务。

引言：

随着大型模型在文档处理领域的应用越来越广泛，文档解析技术的发展变得尤为重要。然而，当前文档解析面临诸多挑战，如版面检测、阅读顺序还原、表格还原和公式识别等问题，这些问题直接影响了文档解析的准确性和效率。为了解决这些问题，一些先进的技术和平台被引入，其中包括TextIn文档解析技术和文字向量化技术。本文将介绍这些技术及其在文档处理领域的应用。

1.当下文档解析得到痛点

当谈及当前市场上的大模型文档解析时，我们发现存在许多问题，这些问题使得解析过程变得复杂且困难。下面将详细介绍其中几个典型的技术难点：

1.1大模型文档解析问题

目前存在的大模型文档解析问题主要包括对文档中表格或无线表的解析可能出现错乱或无法准确还原的情况，另外文档编码可能存在错误，这会导致无法按照阅读顺序解析等等。这些问题对我们使用大模型程序有很大的影响，可能导致解析结果的不准确性和不完整性，降低了使用程序的体验性。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/e236289a1faa49d780c2ef756bf093a1.png)

1.2 版面检测问题

在版面检测方面，我们面临着一系列挑战。这些挑战包括典型的元素遮盖重叠、元素本身的多样性以及复杂的版式设计，例如双栏、跨页和三栏等问题。
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/17b3323b3b76412eb17eabed448de5bc.png)

1.3 阅读顺序还原问题

在解析文档时，恢复文本的阅读顺序是一个重要的挑战，特别是在处理多栏布局和插入表格的情况下。多栏布局会增加阅读顺序还原的复杂性，而插入表格则可能进一步扰乱文档的结构。解决这些问题需要对布局和内容进行全面的分析和处理，以确保最终生成的文本能够按照正确的顺序呈现给用户。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/e4ac465e58114097ac53421a44de7066.png)

1.4 表格还原

在文档解析中，表格还原是一个关键问题，其中包括无线表格识别和合并单元格识别。无线表格的识别涉及到准确地识别表格的边界和内容，以及识别表格中的行和列。而合并单元格的识别则需要正确地识别被合并的单元格，并在解析过程中保持其结构完整性。解决这些问题需要结合图像处理和文本分析技术，以确保表格可以准确还原并保持其原始布局的完整性。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/3937e005820c4bcf8dbd08744bfc7f56.png)

1.5 公式识别难点

公式识别是文档解析中的一个典型技术难点。在解析文档时，识别和理解公式的结构和含义至关重要，但公式的复杂性和多样性增加了这一任务的难度。

公式可能采用不同的表示方式，包括数学公式、化学方程式等。它们可能包含各种数学符号、字母、数字和其他特殊字符，以及上下标、分数线、根号等特殊结构。此外，公式的排版和格式也可能因文档的不同而异，例如，公式可能位于单独的行或嵌入在段落中，而且可能使用不同的字体、颜色或大小。

为了准确识别和解析公式，需要开发复杂的算法和模型，能够处理公式的各种结构和格式。这可能涉及到使用基于规则的方法、机器学习技术或深度学习模型来识别和理解公式中的各个组成部分，并将其转换为计算机可理解的形式。

克服公式识别难点对于实现高质量的文档解析至关重要，因为公式通常包含文档中重要的信息和内容。通过不断改进和优化公式识别算法和模型，可以提高文档解析的准确性和效率，从而更好地满足用户的需求。
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/9eeeaff8441f4e68937da2d4e65416ff.png)

2.TextIn 文档解析技术

TextIn 文档解析技术架构图如下：
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/f3b2df04f6b942f5864cf967ee371e80.png)

2.1 解决版面分析

TextIn 采用了一项关键技术——Layout-engine，这是一个用于版面分析的算法框架。Layout-engine
结合了先进的计算机视觉和自然语言处理技术，能够准确地识别文档中的各种元素，并分析它们的布局关系。通过 Layout-engine，TextIn
能够有效处理元素遮盖重叠、多样性元素和复杂版式等问题，确保解析结果的准确性和完整性。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/0f57ee13c2b64983bba1eca96cb09420.png)

2.2 解决文档树提取

解决文档树提取的关键技术是 Catalog-engine，它用于提取当前段落的嵌入值（embedding）。Catalog-engine
运用先进的自然语言处理技术，对每个段落进行嵌入表示，以捕捉段落之间的语义关系。

对于文档树的构建，Catalog-engine
首先预测每个段落与上一个段落之间的关系。这些关系包括子标题、子段落、合并、旁系、主标题、表格标题等。如果某段落被分类为旁系类型，系统将向上查找其父节点，并确定其在文档树中的层级关系，直到找到最终的父节点。

最终，Catalog-engine 根据每个段落的情况构造了文档的文档树，并按照 JSON
结构输出。这个文档树包含了文档中所有段落的关系，从而为后续的文档解析和处理提供了基础。

这种基于文档树的结构化表示方式能够使得文档的组织结构清晰可见，为文档的进一步处理和分析提供了便利。
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/6214803e899d4068bd52c292d7b6e05f.png)

如下图所示：左边是双栏的文档，而右边则是解析后的文档数据，其中包含了从双栏文档中提取的文本段落和数据信息。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/c49248364d5c4c4a89afc81b481bc413.png)
左侧展示了原始的双栏文档，右侧则是经过文档解析技术处理后的结果数据。这包括从双栏文档中提取的文本内容、并以结构化形式展示出来，使用户可以更清晰地理解文档的内容和结构
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/1e35db38c9664e14aab774b132fd70b0.png)
TextIn演示了其文档解析技术在双栏布局中处理表格的能力。在双栏文档中，左侧展示原始文档，右侧呈现解析后的文档数据。TextIn可以准确提取双栏布局中的文本内容和表格信息，并以结构化的方式显示。这使用户能够轻松理解文档内容和布局。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/837d0380a0f6428887e7240696cb1b67.png)

2.3 大模型技术与TextIn更好的兼容性

将TextIn文档解析技术与大型模型相结合可以提高大型模型在文档问答任务中的精度。TextIn文档解析技术可以有效地从文档中提取信息并理解文档的结构，为大型模型提供更准确、更丰富的输入。大型模型能够利用文档解析技术提供的结构化信息，更好地理解文档的上下文和语义，从而提高文档问答任务的准确性和全面性。这种结合使得大型模型能够更好地应对各种文档问答场景，提供更优质的答案。如下图所示：
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/f03eb8b89ad74ef19ad6fc15c1ab7435.png)
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/75817799762d4e9fa7f9cae6a9cc0753.png)

2.3 acge模型获得MTEB中文榜单第一名（C-MTEB）

合合信息发布的文本向量化模型acge_text_embedding（简称为“acge模型
”）在近期获得了MTEB中文榜单（C-MTEB）的第一名
。这个成就突显了Embedding模型在当前飞速发展的大语言模型领域中的重要性和影响力。
![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/4a20729c0a8444be80e261d8f825f05f.png)

3. TextIn文字智能平台

TextIn.com是合合信息的平台，专注于深耕智能文字识别和商业大数据领域。其产品涵盖了C端和B端 市场。

在C端市场，TextIn.com提供了一系列受全球用户喜爱的效率工具，如扫描全能王、名片全能王等，其总月活跃用户达到1.3亿，覆盖全球200多个国家和地区。

在B端市场，TextIn.com为企业提供AI+大数据赋能的数字化转型服务。其智能文字识别产品服务于30多个行业和2000多家全球企业。

TextIn.com采用了底层技术包括AI模式识别、图像处理、神经网络、深度学习和自然语言处理（NLP）。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/7ba4d9ce483f4f7b84fd54402324cdf1.png)

总结

本文详细介绍了当前大型模型文档解析面临的问题，以及针对这些问题的解决方案。TextIn文档解析技术结合了先进的计算机视觉和自然语言处理技术，能够有效处理版面检测、阅读顺序还原、表格还原和公式识别等问题，提高了文档解析的准确性和效率。同时，文字向量化技术的应用进一步提高了大型模型在文档处理任务中的表现。TextIn为用户提供了多种智能文字识别和商业大数据服务，满足了不同用户群体的需求。

![在这里插入图片描述](https://img-
blog.csdnimg.cn/direct/3e5c47e6b0ea4c2686e5d76f17fa36c6.png)