ps:才开始学习,有问题很正常,QAQ,主要是自用当笔记本
1.Introduction
在zero-shot和few-shot下的大模型已经有了足够好的结果,但这些模型在常用的基准测试(比如spider上)仍然落后于设计良好的经过微调的模型,如下图:
微调相比于从头开始或微调一个模型,不需要消耗过多的资源,此外在一些基准测试数据集上,few-shot已经展现出较好性能,在训练例子有限的情况下也能有很高准确率。最新结果表明,LLM在使用如:chain-of-thought、least-to-most、decomposed prompting techniques等技术后在更复杂的任务中的性能可以得到改善。
本文的贡献在于:
(1)通过任务分解提高了基于LLM的text-to-SQL的模型性能
(2)引入适应任务复杂性的自适应提示策略
(3)在提示上下文中解决schema links挑战
(4)使用LLM进行自修正
2.Related Work
seq-to-seq模型在text2sql任务中显示出了巨大潜力,核心思想是结合给定的自然语言问题和schema并理由解码器来预测目标的SQL。
具体的略
3.Few-shot错误分析
随机在spider数据集的训练集中的不同数据库中抽取了500个查询,来解释LLM在少数情况下的失败之处。本文手动检查了这些失败,并将其分为六种。