Dolly vs LLaMA vs Vicuna vs Guanaco vs Bard vs ChatGPT - A Text-to-SQL Parsing Comparison

本文是LLM系列文章，针对《Battle of the Large Language Models: Dolly vs LLaMA vs Vicuna vs
Guanaco vs Bard vs ChatGPT

摘要

ChatGPT的成功引发了一场人工智能竞赛，研究人员努力开发新的大型语言模型（LLM），这些模型可以与商业模型的语言理解和生成能力相匹配或超越。近年来，出现了许多模型，通过各种指令调优方法声称性能接近GPT-3.5或GPT-4。作为文本到SQL解析的实践者，我们感谢他们对开源研究的宝贵贡献。然而，重要的是要仔细审查这些说法，并确定这些模型的实际有效性。因此，我们对六个流行的大型语言模型进行了对比，系统地评估了它们在九个基准数据集上的文本到SQL解析能力，并采用了五种不同的提示策略，涵盖了零样本和少搜索场景。令人遗憾的是，开源模型的性能明显低于GPT-3.5等闭源模型，这突出表明需要进一步的工作来弥补这些模型之间的性能差距。

1 引言

2 实验设置

3 评估结果

4 讨论

5 相关工作

6 结论和未来工作