【RAG】表格场景RAG怎么做？TableRAG：一种增强大规模表格理解框架

于 2024-10-11 09:33:58 发布
阅读量269 收藏 2
点赞数 5
分类专栏： 自然语言处理 文档智能 RAG 文章标签： RAG 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjh_SE007/article/details/142845298
版权

前面很多期介绍了密集文档场景的RAG方法，今天来看看大量表格场景的RAG怎么做的。

现有结合大模型的方法通常需要将整个表格作为输入，这会导致一些挑战，比如位置偏差、上下文长度限制等，尤其是在处理大型表格时。为了解决这些问题，文章提出了TableRAG框架，该框架利用查询扩展结合模式和单元格检索，以在向LLM提供信息之前精确定位关键信息。这种方法能够更高效地编码数据和精确检索，显著减少提示长度并减轻信息丢失。

表提示技术在LLM中的应用比较

(a) Read Table

语言模型读取整个表格。这是最直接的方法，但往往不可行，因为大型表格会超出模型的处理能力。阴影区域表示提供给语言模型的数据，包括所有行和列。对于大型表格，这种方法不现实，因为会超过模型的令牌限制。

(b) Read Schema

语言模型只读取表格的模式（schema），即列名和数据类型。只包含列名和数据类型的信息，不包含表格内容的具体信息。这种方法会导致表格内容的信息丢失。

© Row-Column Retrieval

对行和列进行编码，然后根据它们与问题的相似性进行选择。只有行和列的交集被呈现给语言模型。
编码后，基于与问题的相关性选择行和列。
对于大型表格，编码所有行和列仍然不可行。

(d) Schema-Cell Retrieval (Ours)

编码列名和单元格，并根据它们与语言模型生成的关于问题查询的相关性进行检索。只有检索到的模式和单元格提供给语言模型。
包括检索到的列名和单元格值。
提高了编码和推理的效率。

(e) Retrieval Performance on ArcadeQA

展示了在 ArcadeQA 数据集上不同方法的检索结果。TableRAG 在列和单元格检索方面都优于其他方法，从而提高了后续表格推理过程的性能。

方法

TableRAG Example

核心思想是结合模式检索和单元格检索，获得解决问题的必要信息，通过程序辅助的LLM。实际上，没必要将整个表格给LLM。相反，关键信息通常位于与问题直接相关的特定列名、数据类型和单元格值中。例如，考虑一个问题“钱包的平均价格是多少？”为了解决这个问题，程序可能只需要提取与“钱包”相关的行，然后从价格列计算平均值。仅知道相关列名以及表中“钱包”的表示方式就足以编写程序。因此，TableRAG解决了RAG的上下文长度限制。

TableRAG流程图：表格被用来构建Schema和单元格数据库。然后通过LLM将问题扩展成多个模式和单元格查询。这些查询依次用于Schema检索和列-单元格对。每个查询的前K个候选项被组合起来，输入到LLM求解器的提示中以回答问题。

TableRAG核心组件

  • Tabular Query Expansion(表格查询扩展)

    为了有效地操作表格，关键是要精确地找出查询所需的列名和单元格值。与之前的方法不同，TableRAG 不仅使用问题本身作为单一查询，而是为模式和单元格值生成单独的查询。例如，对于问题 “What is the average price for wallets?”，模型被提示生成针对列名（如 “product” 和 “price”）以及相关单元格值（如 “wallet”）的潜在查询。然后，这些查询被用来从表格中检索相关的模式和单元格值。

  • Schema Retrieval(Schema检索)

    在生成查询后，Schema检索会使用预训练的编码器 fenc 来获取相关的列名。编码器将查询与编码的列名进行匹配，以确定相关性。检索到的模式数据包括列名、数据类型和示例值。对于被识别为数值或日期时间类型的列，会显示最小值和最大值作为示例值；对于分类列，会展示三个最常见的类别作为示例值。通过这种方式，检索到的模式为表格的格式和内容提供了结构化的概览，这将用于更有针对性的数据提取。

    相关prompt如下:

    ========================================= Prompt =========================================
Given a large table regarding "amazon seller order status prediction orders data", I want
to answer a question: "What is the average price for leather wallets?"
Since I cannot view the table directly, please suggest some column names that might contain
the necessary data to answer this question.
Please answer with a list of column names in JSON format without any additional explanation
.
Example:
["column1", "column2", "column3"]
======================================= Completion =======================================
["product_name", "category", "price"]

  • Cell Retrieval（单元格检索）

    在Schema检索之后，进行单元格检索以提取回答查询所需的特定单元格值。这涉及到构建一个由表格 T 中的不同列-值对组成的数据库，表示为 $ V = {(C_j, v_{ij})} $，其中 $ C_j $ 是第 $ j $ 列的列名。在实践中，不同值的数量通常远小于单元格的总数，这显著提高了单元格检索的效率。

    单元格检索在 TableRAG 中起着至关重要的作用：

    1. 单元格识别：它允许语言模型准确地检测表格中特定关键词的存在，这对于有效的索引至关重要。
    2. 单元格-列关联：它还使语言模型能够将特定单元格与其相关的列名关联起来，这在问题涉及特定属性时至关重要。

    相关prompt如下：

    ========================================= Prompt =========================================
Given a large table regarding "amazon seller order status prediction orders data", I want
to answer a question: "What is the average price for leather wallets?"
Please extract some keywords which might appear in the table cells and help answer the
question.
The keywords should be categorical values rather than numerical values.
The keywords should be contained in the question.
Please answer with a list of keywords in JSON format without any additional explanation.
Example:
["keyword1", "keyword2", "keyword3"]
======================================= Completion =======================================
["leather wallets", "average price", "amazon seller", "order status prediction", "orders
data"]

  • Cell Retrieval with Encoding Budget

    在最坏的情况下，不同值的数量可能与单元格的总数相匹配。为了保持 TableRAG 在这种情况下的可行性，引入了一个单元格编码预算$ B 。如果不同值的数量超过 。如果不同值的数量超过 。如果不同值的数量超过 B $，编码过程将限制在出现频率最高的 $ B $ 对，从而在处理大型表格时提高效率。

  • Program-Aided Solver（程序辅助求解器）

    在获得与问题相关的列名和单元格值后，语言模型可以使用这些信息有效地与表格交互。TableRAG 与可以以编程方式与表格交互的语言模型代理兼容。在这项工作中，作者考虑了 ReAct，这是一种流行的扩展语言模型功能的方法，已在最近的文献中用于在表格 QA 基准测试中取得最先进的结果。

    相关prompt如下：

    ========================================= Prompt =========================================
You are working with a pandas dataframe regarding "amazon seller order status prediction
orders data" in Python. The name of the dataframe is ‘df‘. Your task is to use ‘
python_repl_ast‘ to answer the question: "What is the average price for leather wallets?"
Tool description:
- ‘python_repl_ast‘: A Python interactive shell. Use this to execute python commands. Input
should be a valid single line python command.
Since you cannot view the table directly, here are some schemas and cell values retrieved
from the table.
Schema Retrieval Results:
{"column_name": "item_total", "dtype": "object", "cell_examples": [’$449.00’, ’$399.00’, ’
$549.00’]}
{"column_name": "quantity", "dtype": "int64", "min": 1, "max": 4}
{"column_name": "order_no", "dtype": "object", "cell_examples": [’402-4845680-8041921’,
’405-9763961-5211537’, ’404-3964908-7850720’]}
...
Cell Retrieval Queries: leather wallets, average price, order status, prediction, amazon
seller
Cell Retrieval Results:
{"column_name": "order_status", "cell_value": "Delivered to buyer"}
{"column_name": "description", "cell_value": "Pure Leather Camel Color Gent’s Wallet with
Coin Compartment and Card Holders | Men’s Ultra Slim Money Organiser (1 pc)"}
...
Strictly follow the given format to respond:
Thought: you should always think about what to do
Action: the single line Python command to execute
Observation: the result of the action
... (this Thought/Action/Observation can repeat N times)
Thought: before giving the final answer, you should think about the observations
Final Answer: the final answer to the original input question (Answer1, Answer2, ...)
Notes:
- Do not use markdown or any other formatting in your responses.
- Ensure the last line is only "Final Answer: Answer1, Answer2, ..." form, no other form.
- Directly output the Final Answer rather than outputting by Python.
- Ensure to have a concluding thought that verifies the table, observations and the
question before giving the final answer.
Now, given a table regarding "amazon seller order status prediction orders data", please
use ‘python_repl_ast‘ with the column names and cell values above to answer the question: "
What is the average price for leather wallets?"
Begin!
======================================= Completion =======================================
Thought: I need to remove the comma in the item_total values before converting them to
float.
Action: df[’item_total’] = df[’item_total’].str.replace(’$’,’’).str.replace(’,’,’’).astype(
float)
Observation: success!
Thought: Now, I can filter out the rows with leather wallets and calculate the average
price.
Action: df[df[’description’].str.contains(’wallet’, case=False)][’item_total’].mean()
Observation: 442.7916666666667
Thought: before giving the final answer, I should consider the observations and ensure that
the calculations are accurate.
Final Answer: The average price for leather wallets is $442.79.

实验结果

数据集：为了验证TableRAG在大规模表格上的可扩展性，作者构建了两个新的基准数据集：ArcadeQA和BirdQA，分别源自Arcade和BIRD-SQL数据集。此外，作者还从TabFact数据集中生成了合成数据，将表格扩展到更大的规模。

并且比较了四种不同的方法，包括ReadTable、ReadSchema、RandRowSampling和RowColRetrieval。所有方法都基于相同的PyReAct求解器实现。

TableRAG的检索设计显著减少了计算成本和token使用，同时保持了高性能。

参考文献

TableRAG: Million-Token Table Understanding with Language Models，https://arxiv.org/abs/2410.04739v1

余俊晖
关注
专栏目录
大模型微调和RAG的应用场景
herosunly的博客
06-19 10万+
本文主要介绍了大模型微调和RAG的应用场景，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 大模型微调 vs. RAG
Cognita：一款面向生产环境的开源、模块化 RAG 框架
FrenzyTechAI的博客
06-04 1261
Cognita 是一个开源、模块化的应用程序，它被设计用于生产环境，并且结合了信息检索增强生成（Retrieval-Augmented Generation，简称 RAG）技术。RAG 是一种人工智能技术，它通过结合检索（检索相关信息）和生成（生成新内容）的方式来增强模型的性能。Cognita 的设计目标是在完全定制化和适应性之间取得平衡，同时确保用户友好性。它考虑到了 RAG 和 AI 技术的快速发展，因此在设计时注重了可扩展性，以便能够无缝集成新的技术突破和不同的应用场景。
主流RAG框架TOP10及RAG小工具SODA ：兼看RobustRAG防攻击污染框架思路
人工智能曾小健
05-28 1056
本文主要讲了2个问题，一个是回顾下主流RAG框架TOP10及一个有趣的soda RAG小工具，另一个为防止恶意检索污染攻击的RAG方案RobustRAG思路。其中关于主流框架方面，当前有很多，但不需要哪个都做，还是需要选一个就行。另外，RobustRAG在真实场景下用不太到，但单纯从思想上来看，是很有趣的。
大模型主流 RAG 框架TOP10
2401_84033492的博客
05-28 3666
本文主要讲了2个问题，一个是回顾下主流RAG框架TOP10及一个有趣的soda RAG小工具，另一个为防止恶意检索污染攻击的RAG方案RobustRAG思路。其中关于主流框架方面，当前有很多，但不需要哪个都做，还是需要选一个就行。另外，RobustRAG在真实场景下用不太到，但单纯从思想上来看，是很有趣的。
AI大模型低成本快速定制秘诀：RAG和向量数据库
热门推荐
herosunly的博客
11-14 3万+
当今人工智能领域，最受关注的毋庸置疑是大模型。然而，高昂的训练成本、漫长的训练时间等都成为了制约大多数企业入局大模型的关键瓶颈。这种背景下，向量数据库凭借其独特的优势，成为解决低成本快速定制大模型问题的关键所在。向量数据库是一种专门用于存储和处理高维向量数据的技术。它采用高效的索引和查询算法，实现了海量数据的快速检索和分析。如此优秀的性能之外，向量数据库还可以为特定领域和任务提供定制化的解决方案。科技巨头诸如腾讯、阿里等公司纷纷布局向量数据库研发，力求在大模型领域实现突破。
【宠粉赠书】大模型RAG实战：RAG原理、应用与系统构建
踏雨歌青春，诗酒趁年华
09-20 3817
为了回馈粉丝们的厚爱，今天小智给大家送上一套大模型RAG实战指南——《大模型RAG实战：RAG原理、应用与系统构建》。这是一本已经被市场公认的大模型RAG的标准性著作，极具实战性和技巧性，阅读本书，先人一步实现能力跃迁，提升你的开发技能，与我们一起在智能开发的道路上不断前行。
【RAG 论文】Self-RAG：引入自我反思的大模型 RAG 框架
VLyb
04-21 3901
Self-RAG：在 RAG 框架中引入自我反思机制，提高检索增强的效果
Langchain框架深度剖析：解锁大模型-RAG技术的无限潜能，引领AI应用新纪元
啊猪是的读来过倒的博客
08-12 2632
LangChain 是一个基于语言模型开发应用程序的强大框架，旨在帮助开发人员简化与大模型交互、数据检索以及将不同功能模块串联起来以完成复杂任务的过程。而RAG（Retrieval-Augmented Generation，检索增强生成）技术则是 LangChain 框架中一项重要的技术，它结合了检索和生成两种能力，以提高自然语言处理任务的效率和质量。本文将对 LangChain RAG 技术从原理及应用进行详细介绍。
GraphRAG：一种新型的RAG技术
产品老A，6年互联网大厂AIPM，专注探索新型人机交互
07-18 3318
微软前几天发布的 GraphRAG 架构非常厉害，但是具体的原理和内容可能不太好理解。Neo4j 的 CTO 写了一篇详细的文章《GraphRAG 宣言：为 GenAI 增加知识》，通俗易懂的介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG的优势、知识图谱的创建和利用知识图谱工作。
《AI大模型应用》--基于知识图谱和文本文档联合做检索增强(RAG)大模型的实现，专家知识图谱.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 3019
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
丨汀、的博客
01-09 3315
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
【AI大模型应用开发】【RAG评估】1. 通俗易懂：深度理解RAGAS评估方法的原理与应用
同学小张的博客
02-25 4628
本文我们针对RAGAS评估方法进行详细介绍。我们将深入其原理，理解其评估指标背后是怎么实现的。都是我根据自己的理解用大白话解释，保证大家能看懂。
[大语言模型-算法优化] 微调技术-LoRA算法原理及优化应用详解
10-04 1287
随着GPT等大语言模型的陆续出现，人们逐步发现和接受了这样一个现实规律:增加数据量和模型参数往往是提升深度网络模型性能最简单粗暴的方法。目前主流的大模型参数量，通常都是千亿级别起步，并且还在不断持续地扩大。大型语言模型（LLM）的微调是为了使模型更好地适应特定的任务或领域。微调通常在模型的预训练阶段之后进行，预训练阶段模型在大量无标签数据上学习通用的语言特征，而微调阶段则使用特定任务的数据对模型进行进一步训练，以提高其在该任务上的表现。全参数微调。
自然语言处理问答系统
最新发布
不会代码的小林
10-10 341
在问答系统中，BERT可以用于文本编码和语义匹配，将输入的文本（如问题和答案）转换为向量表示，并计算它们之间的语义相似度，从而找到最匹配的答案。自然语言处理问答系统（NLP QA System）是自然语言处理领域的一个重要应用，它通过理解和解析用户提出的自然语言问题，从知识库或文本数据中检索相关信息，并提供准确和有意义的答案。答案生成：对于基于推理的问答系统，利用语义理解和推理能力生成准确的答案。信息检索：对于基于检索的问答系统，根据提取的关键信息和特征在知识库或文本数据中检索相关的答案。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-03
10-04 2201
随着在纽约证券交易所上市的公司数量呈指数级增长，市场分析师、交易员和股东需要定期监控和评估大量公司的表现和战略转变，面临着重大挑战。提出了一种新颖的数据驱动方法，利用大型语言模型（LLMs）系统地分析和评估基于其SEC 10-K文件的公司表现。这些文件提供了公司财务表现和战略方向的详细年度报告，是评估公司健康状况各个方面（包括信心、环境可持续性、创新和劳动力管理）的丰富数据源。此外，介绍了一个自动化系统，用于提取和预处理10-K文件。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-04
10-04 1686
本文提出了一种新的幻觉检测方法，该方法结合了多项填空考试方法，以解决因故事线变化导致的检测准确性下降的问题。首先，该方法通过从原始文本中遮蔽多个对象来创建一个多项填空考试。然后，提示大型语言模型（LLM）重复回答这个考试。这种方法确保了考试答案的故事线与原始文本一致。最后，通过评分考试答案来量化每个原始句子的幻觉程度，同时考虑原始文本本身可能出现的幻觉雪崩效应。实验结果表明，该方法不仅单独优于现有方法，而且在与现有方法集成时也达到了更清晰的最新性能。
自然语言处理问答系统技术
萧鼎的博客
10-01 1681
自然语言处理问答系统是NLP领域的一个重要应用。通过语义理解、信息检索和答案生成等关键技术，问答系统可以帮助用户从海量信息中快速找到答案。在实现中，基于BERT的语义匹配以及GPT的生成能力是当前的主流解决方案。未来，随着NLP技术的进一步发展，问答系统的精确度和应用范围将会进一步提升。通过本文，我们展示了问答系统的基本架构和技术，并通过代码示例展示了如何快速搭建一个基于BERT模型的问答系统。希望能为读者提供有价值的参考。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值