微软开源的GraphRAG爆火，知识图谱时代我们为什么重视PDF解析？

好你个耿鬼

已于 2024-07-24 10:18:57 修改

阅读量706

点赞数 21

文章标签：知识图谱 pdf 人工智能

于 2024-07-23 15:30:44 首次发布

本文链接：https://blog.csdn.net/2401_85965094/article/details/140637336

版权

在私有领域知识问答和企业知识管理领域，结合检索增强型生成模型（Retrieval-Augmented Generation, RAG）大模型（Large Language Model, LLM）已成为一种趋势。然而，在RAG系统的文档预处理阶段和检索阶段，经常碰到三个主要问题。

企业内部常常积累了大量包含PDF格式的文档，这些文档的解析精度不足，严重制约了基于专业知识的问答系统的性能。因此，提高这些PDF文件的解析质量，对于构建高效的RAG系统至关重要。
构建起一个完备的智能文档解析服务后，需要一个有效的评测工具来有评测文档的解析质量，而不是主观的通过肉眼感知。
用户查询通过text embedding向量模型快速、准确、有效从知识库中检索出相关知识片段，使得LLM回答准确。

今天我们先探讨下文档解析的准确性对RAG系统的影响。

在RAG的预处理阶段，文档解析的准确性是至关重要的。如果文档解析不准确，这将直接影响到后续的检索和生成阶段，导致整个RAG系统的性能下降。以下是文档解析不准确可能带来的具体问题及其影响：

内容识别错误：如果文档中的文本、图像或格式被错误识别，将导致原始信息的丢失或错误。例如：（1）表格数据可能被错误地解析为普通文本，表格的行列关系混乱等：导致表格数值类问题无法进行精准的回答和RAG系统可能无法正确理解数据间的关联性。（2）图像中的文字（OCR）被错误识别：如果文档中的文本或图像被错误识别，系统接收到的数据质量会下降，这将影响系统生成的输出质量。
布局信息丢失：PDF文件的布局信息，如页面布局、段落、标题层级等，在解析过程中可能会丢失，这会影响对文档结构的把握，进而影响分块（chunks）。为了适应模型的输入要求，文档需要被分割成小块。如果分块策略不当，可能会导致语义信息的丢失，影响模型对文档内容的理解。
编码问题：PDF文件可能包含多种字符编码、水印等，一些pdf解析工具不能正确处理这些编码，可能会导致乱码。乱码的文本内容如果解析出来混合在文本中，会给知识库带来大量的噪声，这也会影响RAG系统的性能。
文档复杂性：（1）复杂的文档结构，如多栏布局、阅读顺序恢复、混合文本和图像等，可能会给解析带来额外的挑战，增加解析错误的风险。（2）文档元素的复杂性：文档中包含各种元素类型，如：段落、表格、公式和图表。错误的解析这些元素内容，也会给RAG系统的知识库带来大量噪声。

因此，对于C端文档问答的RAG系统应用产品，迫切的需要对文档进行精准解析。理想情况下，文档解析器应具备以下关键特征：

文档结构识别：能够灵活地将页面划分为不同类型的内容块，如标题、段落、表格、公式和图表。这确保了划分的文本块是完整和独立的语义单元。
文档内元素准确解析：在文档结构识别之后，识别出来的内容块准确解析，如：OCR准确无误的将标题、段落解析成文本内容；表格识别解析精确：尤其是数值类文档问答敏感的场景；公式能够准确的解析成Latex格式。
在复杂文档布局中保持鲁棒性：即使是在文档页面布局复杂的情况下也能保证解析效果，如多列页面、无边框表格甚至合并单元格的表格。

最近，微软开源的GraphRAG项目发布以后迅速吸引了众多目光，GitHub上的Star数量已突破1.1w颗星。GraphRAG结合了大型语言模型（LLM）和知识图谱，旨在解决LLM存在的幻觉问题、可解释性差、抓不住问题重点以及隐私和安全问题等缺点，通过检索增强式生成（RAG）技术大幅提升生成质量和结果的有用性。