【Text2SQL 论文】MAGIC：为 Text2SQL 任务自动生成 self-correction guideline

论文：MAGIC: Generating Self-Correction Guideline for In-Context Text-to-SQL

⭐⭐⭐

莱顿大学 & Microsoft, arXiv:2406.12692

一、论文速读

DIN-SQL 模型中使用了一个 self-correction 模块，他把 LLM 直接生成的 SQL 带上一些 guidelines 的 prompt，让 LLM 进行自我检查并改正这个错误的 SQL。但是这里的 guidelines 是人工手写的，比如下图是 DIN-SQL 中的 self-correction guidelines 的 prompt：

这篇论文提出了一个可以自动生成 self-correction guidelines 的方法：MAGIC。

任务定义：给定 user question、DB schema 和一个错误的 SQL，生成一个 self-correction guidelines，可以 prompt LLM 来纠正错误的 SQL 从而得到纠正正确的 SQL。这个任务就是本论文需要解决的任务——self-correction guideline generation 任务。

输入中的错误的 SQL 就是原先由 LLM 生成的 SQL 但不能正确执行的 SQL。

下图就是 LLM 使用 self-correction guidelines 来纠正错误 SQL 的示例：

可以看到，LLM 可以根据 guidelines 来检查这个错误 SQL，找出其中的问题从而得到修正后的正确 SQL。

二、MAGIC

假设使用 $s^{\prime }$ 表示 incorrect SQL，使用 s^{gt} 表示 ground-truth SQL。

MAGIC 由 3 个 agent 组成：manager agent、feedback agent 和 correction agent。