蚂蚁：LLM文本转SQL系统

📖标题：SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy
🌐来源：arXiv, 2407.14568

摘要

文本转SQL是一项关键的创新，简化了从复杂的SQL到直观的自然语言查询的过渡，特别是在SQL在各种角色的工作市场上普及的情况下，这一创新尤为重要。大语言模型（LLMs）的兴起，如GPT-3.5和GPT-4，极大地推进了这一领域的发展，提供了改进的自然语言理解和生成细致的SQL语句的能力。然而，开源LLMs在文本转SQL应用中的潜力仍未得到充分挖掘，许多框架未能充分利用它们的能力，特别是在处理复杂的数据库查询和纳入反馈进行迭代改进方面。为了解决这些限制，本文介绍了SQLfuse，这是一个强大的系统，将开源LLMs与一套工具集成在一起，以提高文本转SQL的准确性和可用性。SQLfuse具有四个模块：模式挖掘、模式链接、SQL生成和SQL评论模块，不仅能够生成SQL查询，还能不断提高SQL查询的质量。通过在Spider排行榜上的领先表现和被蚂蚁集团部署的示范，SQLfuse展示了开源LLMs在各种业务场景中的实际优点。

🛎️文章简介

🔸研究问题：如何提高文本到SQL转换的性能。
🔸主要贡献：论文提出了名为SQLfuse的文本转SQL系统，通过综合应用大语言模型（LLM）和外部知识来提高文本到SQL的转换性能。

📝重点思路

🔺相关工作
🔸任务挑战：主要源于准确解释自然语言和生成相应SQL查询的复杂性。
🔸现有方案：早期主要基于预定义的规则或模板，后续转为从序列到序列学习，再到LLM的预训练多语言任务。
🔸当前难点：微调涉及对特定任务数据的额外训练，但依旧没有充分利用LLM应用外部工具和集体知识的能力。

🔺论文方案
🔸模块化系统：主要包括模式挖掘、模式链接、SQL生成和SQL评价四个模块，通过协同工作实现。
🔸模式挖掘：除了候选数据库模式池之外，还提取模式特征的服务，例如主键、外键、枚举值和一对多关系等。
🔸模式链接：识别确切的模式元素，即自然语言查询中引用的表、列、连接关系和条件值。
🔸SQL生成：输入用户的问题以及提取的模式特征和元素，通过思想链（CoT）模板生成各种候选SQL语句，随后通过常值固定和SQL检查进行验证处理。
🔸SQL评价：采用少样本上下文学习，评估和选择最忠于用户意图的SQL查询。

🔎分析总结

🔸SQLfuse在Spider基准测试中达到了85.6%的执行准确率，成为最高排名的开源系统。
🔸SQLfuse已经在蚂蚁日常运营框架中进行了测试和部署，支持公司内部的在线分析处理（OLAP）和事务处理（OLTP）平台等七个业务场景。
🔸通过消融研究，验证了每个模块在SQLfuse系统中的关键作用。

💡个人观点

论文引入了SQLfuse系统，通过LLM协同四个模块，显著提高了文本到SQL转换的性能。

附录