RAG遇见PDF表格：揭秘如何实现索引内容的精准回复，提升数据检索效率！

解析和理解非结构化文档尤其是图片格式表格（ 比如：扫描文件中的表格）时，优化 RAG 方案面临重大挑战。难点涉及：

1. 扫描图像的复杂性，包括多变结构、非文本元素及手写与打印文本的混合，这些都阻碍了准确自动提取表格信息，可能导致结构损坏，影响 RAG 输出的完整性和语义理解。
2. 表格标题的精确抽取及其与对应表格的有效关联，这对于正确理解表格意义至关重要。
3. 开发高效索引结构以储存和检索表格的深层语义信息。

本文首先讲述 RAG 表格处理的核心技术，继而评估现有开源解决方案，并进一步提出及实践一种解决方案策略。

1、RAG 的关键技术

第一、Table Parsing（表格解析）

该模块核心职责是从非结构化文档及图像中高精度抽取表格结构，强调表格标题的准确提取及与表格本身的便捷绑定。现有方法概览：

\1. 多模态 LLM 应用：运用GPT-4V等工具，识别并提取PDF页面中的表格信息。

\2. 专用表格检测模型：比如：Table Transformer，专门用于解析表结构。

\3. 开源框架利用：采用 unstructured 等框架进行全面文档解析，提取表格相关内容。

\4. 端到端模型解决方案：Nougat、Donut 模型直接解析文档并提取表格信息，无需独立OCR，且便于表格标题的自动识别与关联，因表格标题常为内容精要，对理解表格内容至关重要。

第二、Index Structure

索引表格方法概括：

1. 图像表格索引：专对图片格式表格。
2. 文本/JSON 表格索引：针对纯文本和 JSON 结构表格。
3. LaTeX 表格索引：专门处理 LaTeX 格式。
4. 表格摘要索引：利用 LLM 或多模态模型生成表摘要。
5. 结构化层级索引：按内容从小到大或依文档摘要，涵盖表格各部分（比如：行）至整体（图像、文本、LaTeX 表）。

同时，可直接向多模态 LLM 提交图片、文本及查询，以获取即时答案。

需留意，并非所有策略依托 RAG：

1. 针对性数据训练，运用 BERT-like 模型，比如：TAPAS，专项处理表格理解。
2. 利用 LLM，经预训练、微调或提示调整，执行表格理解任务，参考GPT4Table 方法。

2、现有开源解决方案

LlamaIndex 提供四种方式，前三者运用多模态模型：

\1. 图像检索后，由 GPT-4V 回应。

\2. PDF 页面转图像，GPT-4V 分析建立索引，通过 Image Reasoning Vector Store 查询。

\3. 从图中裁剪表格，GPT-4V 处理作答。

\4. 表格图像 OCR转 文本，送入 LLM 回答。

Langchain解决方案涵盖：

- 半结构化 RAG：Unstructured 解析 PDF 内容，多向量检索器存储，LCEL 实现问答，非多模态 LLM 参与。

- 半结构化+多模态 RAG 方案多样，例如：

- 选项1：CLIP 等嵌入图像和文本，送多模态 LLM 直接回答。

- 选项2：多模态 LLM 生成图像文本摘要，传统 RAG 链路处理 QA。

- 选项3：生成摘要、embedding，根据之找到原图，多模态 LLM 完成问答。

3、建议的解决方案

本文概括、分类并探讨了关键技术与现有方案，据此我们提出一项解决方案，如下图示。为清晰起见，简化说明，未展示RAG模块中的重排序和查询改写环节。

表格解析采用 Nougat，据称其表格检测优于 unstructured，擅长提取标题，便于标题与表格关联。

文档索引策略：小块含表格摘要，大块含 LaTeX 表格及标题，应用 Multi-Vector Retriever 存储方法。

表格内容汇总：表格及标题送入 LLM 生成摘要。

Nougat 源于 Donut，无需 OCR，整体架构请参考 Nougat 相关资料。

Nougat 解析公式表格的能力令人印象深刻，也能对表格标题进行关联（解析出来的表格式 LaTeX 格式），比如下面这个例子：

​

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~