【论文解读】OPENTAB: ADVANCING LARGE LANGUAGE MODELS AS OPEN-DOMAIN TABLE REASONERS

核心思想

OPENTAB 利用表检索器来获取相关表，然后生成 SQL 程序来有效地解析检索到的表。利用从 SQL 执行中获得的中间数据，进行有根据的推理以产生准确的响应。

整体框架

OPENTAB，一个开放域和端到端的表推理框架。如下图 1所示，OPENTAB 利用 RETRIEVER 获取相关表（选择将 BM25 (Robertson et al., 2009a) 算法实现为表 RETRIEVER），从 CODER 生成程序作为中间推理步骤（利用LLM作为编码器来生成高质量的SQL程序以进行高效的表解析。），并将最终解决方案委托给 READER（基于LLM的READER致力于根据SQL执行结果制定最终响应）

高准确率：我们提出了一种称为生成重排序和顺序推理的重排序策略，以优先考虑自然语言查询和相应生成的 SQL 程序之间相似度较高的表，以解决权衡问题，
鲁棒性：我们提出从简单到复杂的提示，一种灵活而强大的渐进式程序生成和执行策略。

具体方法

1. TABLE RETRIEVER： 使用 BM25 来执行表检索任务；
2. TABLE REASONER：利用 LLM 支持的 CODER 根据检索到的表 Tq 生成 SQL 查询。然后由基于 LLM 的 READER 模块提取最终响应 a，以确保 REASONER 针对生成随机性的准确性、效率和鲁棒性。
   REASONER 在 CODER 和 ROWSELECTOR 的帮助下处理自然语言查询以及表模式和采样行。 ROWSELECTOR 确保将相关行提供给 LLM 进行有效处理。 CODER 生成的 SQL 程序的复杂性不断增加。最后，READER 利用 LLM 来解析和提取最终响应。
   2.1 CODER
   在 CODER 中，我们提出了一种新的从简单到复杂的提示策略，用于有效的 SQL 生成。具体来说，对于每个输入查询，我们提示LLM按顺序生成三个复杂性和功能逐渐增加的SQL程序，它们是：
   • SQL-basic：专注于列选择，这为理解如何从数据库中获取特定数据奠定了基础。
   • SQL 中级：合并列和行选择。这意味着根据指定的条件提取特定的列并过滤行，从而提高数据收集的精度。
   • SQL 高级：支持附加操作，包括但不限于聚合函数和文本操作。聚合增强了数据汇总的能力，而文本操作则有助于字符串数据的操作和转换。
   
   2.2 RWADERS
   为了扩展 SQL 在解决自然输入查询方面的有限能力，我们使用 READER 模块，利用 LLM 来消化中间 SQL 执行结果并制定最终响应。我们不仅仅提供执行结果，还进一步向 READER 提供来自 CODER 的更广泛的上下文，包括表模式、采样行和生成的 SQL 查询。这使读者能够更好地理解准确预测所需的上下文背景和语义。
   2.3 ROWSELECTOR
   为了平衡可扩展性和推理能力，我们建议使用 ROWSELECTOR 来利用与输入 q 最相关的几行，将其放入 LLM 的提示中。
   
   生成重排序和顺序推理（GRSR）：给定 RETRIEVER 获取的 k 个表的查询 q 和 Tq，使用 CODER 为每个表顺序生成 SQL。然后，我们根据 q 和使用预训练交叉编码器变压器计算生成的 SQL 之间的相似性对表进行重新排序（Reimers & Gurevych，2019）。 然后，选择由相应 SQL 计算出的具有最高结果相似度分数的表进行下游预测。