北大：LLM执行Text-to-SQL综述

📖标题：A Survey on Employing Large Language Models for Text-to-SQL Tasks
🌐来源：arXiv, 2407.15186

🛎️文章简介

本文主要是一篇关于利用大语言模型（LLM）在Text-to-SQL任务中的应用综述，分为提示工程和模型微调两个主要部分。

🔺摘要

关系型数据库中存储的数据量不断增加，这导致各个领域需要高效地查询和利用这些数据。然而，编写SQL查询需要专业知识，这对于非专业用户来说是一个挑战。文本到SQL解析通过将自然语言查询转换为SQL查询来解决这个问题，从而使非专业用户更容易访问和查询数据库。为了利用最近大型语言模型（LLMs）的发展，一系列新的方法已经出现，主要关注提示工程和微调。这项调查提供了文本到SQL任务中LLMs的全面概述，讨论了基准数据集、提示工程、微调方法和未来的研究方向。我们希望这篇综述能够使读者更全面地了解这个领域的最新进展，并提供一些对未来发展的见解。

📝重点思路

🔺背景知识

🔸LLM：大规模参数在在大规模语料库上进行预训练，可以通过提示或者微调来适配下游任务，主要分为闭源模型如GPT-4和开源模型如LLaMA。
🔸提示工程和微调：前者代表思路是RAG和小样本推理，后者主要包括SFT、RLHF和PEFT等思路。
🔸Text-to-SQL：一个经典的自然语言处理 (NLP) 问题，即将自然语言转换为SQL，根据编码器和解码器有多种方案。

🔺评测基准

🔸概述：对于LLM而言需要更具挑战性、更现实的基准。
🔸BIRD：涉及95个数据库查询、37个领域，还增加了噪声、外部知识等难度。
🔸Dr.Spider：基于Spider数据集，涉及数据库、自然语言问题和SQL的扰动查询，从各个角度衡量稳健性。

🔺提示工程

🔸提示结构：讨论了Text2SQL任务中提示工程的基本结构，包括自然语言问题、API文档、SQL查询和表信息等。
🔸补充知识：在提示词中添加领域相关的规则、经验和限制，并根据具体问题去除需求中无用的部分，包括Schema知识、SQL知识、其他语言知识、任务知识、记忆知识和问题知识。
🔸示例选择：①零样本，不包含示例，更关注数据库信息 ②小样本，包含了多个Text2SQL示例，侧重SQL的正确模式。
🔸推理：包括思维链、复杂问题分解、自我一致性和自我纠正四种策略。

🔺模型微调

🔸数据准备：可以是集成现有数据集或创建新数据集，但尚无自动构建Text2SQL数据集的方法，只能借鉴指令合成。
🔸模型选择：对比参数尺寸、预训练语料库、预训练过程等，大尺寸、数据广泛、特定编码的模型往往更好。
🔸模型训练：主要是全参微调SFT和高效微调PEFT，权衡性能、效率和灾难性遗忘。
🔸模型评估：主要包括 ①EM、EX、TS和VES等度量分析 ②特征、工程和错误等类别分析 ③LLM评估

🔎未来展望

主要关注隐私问题、自治代理、复杂模式、基准测试和领域知识。

附录