【Text2SQL 论文】评估 ChatGPT 的 zero-shot Text2SQL 能力

最新推荐文章于 2025-04-03 18:00:47 发布
最新推荐文章于 2025-04-03 18:00:47 发布
阅读量1.3k 收藏 17
点赞数 25
分类专栏： Text2SQL 文章标签： chatgpt 人工智能 语言模型 Text2SQL 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45668004/article/details/139305319
版权

论文：A comprehensive evaluation of ChatGPT’s zero-shot Text-to-SQL capability

⭐⭐⭐⭐

arXiv:2303.13547

这篇论文呢综合评估了 ChatGPT 在 zero-shot Text2SQL 任务上的表现。

dataset 使用了 Spider、Spider-SYN、Spider-DK、Spider-Realistic、Spider-CG、ADVETA、CSpider、DuSQL、SParC 以及 CoSQL。

由于 ChatGPT 生成的 SQL 多样性，所以这里主要使用了 execution accuracy 作为 metric。

一、使用的 Prompt

下图展示了使用 ChatGPT 来做 Text2SQL 的 prompts：

在这里插入图片描述

  • 上半的 prompt 是单轮对话的场景
  • 下半的 prompt 是多轮对话的场景

二、Evaluation Metrics

这里主要使用了三个 evaluation metric：

  • valid SQL（VA）：成功执行的 SQL 语句比例。
  • execution accuracy࿰
最低0.47元/天 解锁文章
【Text2SQL 论文】C3：使用 ChatGPT 实现 zero-shot Text2SQL
VLyb
06-07 1739
本文提出的 C3 基于 ChatGPT 实现了 zero-shot Text2SQL，并取得了 zero-shot 的最好性能。C3 从模型输入、模型偏差和模型输出三个角度为基于 GPT 的 Text2SQL 提供了系统的处理方法。这些方法值得后面的研究来参考。
【NL2SQL论文综述】ChatGPT 的零样本文本到 SQL 能力的综合评估
qq_43598882的博客
06-24 1913
本文介绍了 ChatGPT 的 Text-to-SQL 能力的第一个综合分析。鉴于最近出现了大规模会话语言模型 ChatGPT 及其在会话能力和代码生成方面令人印象深刻的能力，我们试图评估其 Text-to-SQL 性能。我们在 12 个具有不同语言、设置或场景的基准数据集上进行了实验，结果表明 ChatGPT 具有很强的文本到 SQL 能力。尽管与当前最先进的 (SOTA) 模型性能仍有差距，考虑到实验是在零样本场景中进行的，ChatGPT 的性能仍然令人印象深刻。
Text2SQL圣经：从0到1精通Text2Sql（Chat2Sql）的原理，以及Text2Sql开源项目的使用
最新发布
架构师尼恩
04-03 1804
Text2SQL圣经：从0到1精通Text2Sql（Chat2Sql）的原理，以及Text2Sql开源项目的使用
重磅字节文章：通过知识图谱网络结合大模型评估SQL正确性（Text2sql、智能BI必看！）
qingkahui24689的博客
08-30 1803
在本文中，我们提出了一种新颖的基于图的方法来评估SQL生成的功能正确性。传统的评估SQL代码生成的指标，如基于匹配的方法和基于执行的方法（例如，精确集合匹配和执行准确性），存在两个主要限制。基于匹配的方法无法有效评估功能正确性，因为不同的SQL查询可能具有相同的功能。基于执行的方法在评估中容易产生假阳性样本。我们提出的评估方法FuncEvalGMN不依赖于测试数据的充分准备，能够精确测试代码的功能正确性。
智能SQL客户端和数据报表工具Chat2DB v0.3.7 二次体验
Micro麦可乐的博客
03-13 3865
Chat2DB【阿里巴巴开源Chat2DB v1.0.11 初体验】Chat2DB经过这一年多的时间，再次使用体验Chat2DB不得不说让我非常惊讶，无论是界面还是功能都有了很大的提升！当然也有博主个人认为的一些槽点！下面跟着博主一起来感受最新版Chat2DB的魅力！虽然是时隔一年多再次体验Chat2DB，但在这一年多的时间间隔里，的的确确Chat2DB是做得越来越好了，无论界面还是功能都有了很大的提升，当然也在体验过程中发现了一点点的问题，毕竟开源免费版本！
9个优秀的Text2Sql（Chat2Sql）开源项目、资源
热门推荐
人工智能讲师分享前沿技术
06-11 1万+
随着大模型能力逐步强大、场景越来越丰富，从Text到sql或者从Chat到sql的方案也十分火热，这个方案主要是利用大模型将自然语言转化为可以执行的Sql语句，进行数据分析，并根据结果实现报告生成或者可视化展示。这种方案提高了领导们随时想要报告的效率，缓解了应对向上汇报的焦虑，在许多决策支持、大屏展示等场景中非常见效。 本文主要收集了几个比较优秀的Text2Sql相关的开源项目或者资源，供借鉴。
【学习笔记7】论文C3: Zero-shot Text-to-SQL with ChatGPT
qq_51700285的博客
10-28 1051
本文提出了一种基于 ChatGPT 的 zero-shot Text-to-SQL 方法，称为 C3，在 Spider 的保留测试集上达到了 82.3% 的执行准确率，成为 Spider Challenge 中最新的 zero-shot Text-to-SQL 方法。C3 包含三个关键组件：清晰提示（Clear Prompting, CP）、带提示的校准（Calibration with Hints, CH）和一致输出（Consistent Output, CO），分别对应模型输入、模型偏差和模型输出。
【Text2SQL 论文】How to prompt LLMs for Text2SQL
VLyb
06-06 1304
整的来说，论文在三种 Text2SQL ICL settings 中比较了各种 prompt constructions 的效果，为未来的研究提供了指导。
【Text2SQL】评估 LLM 的 Text2SQL 能力
VLyb
06-06 1677
⭐⭐⭐⭐。
Chat2DB：AI驱动SQL编辑器，开启智能数据库管理新时代
进击的码农
09-25 1309
SQL编辑器是帮助数据库开发者编写、执行和调试SQL语句的工具。虽然许多开发环境和网页工具都支持SQL编写，但要做到优秀的SQL编辑器并非易事。一个理想的SQL编辑器不仅需要提供语法高亮、自动补全等基础功能，还需要具备高效的语法校验、错误提示、代码格式化和高性能的执行结果展示能力。
用Chat2DB与你的数据库对话
qtvb1987的专栏
11-11 2365
最近一段时间Chat2DB比较火，我刚开始不知道这是啥工具，后来了解到是一款数据库管理工具，它支持的数据库类型比较多，它的版本也有好几个类型，当然是有免费的也有收费的功能不一样，免费的就只能常用的查询。最近还有款常用的开发工具，一般熟悉java编程的用过excel相关的会用到的Easy Excel.EasyExcel是一个基于Java的、快速、简洁、解决大文件内存溢出的Excel处理工具。他能让你在不用考虑性能、内存的等因素的情况下，快速完成Excel的读、写等功能。本人另一篇也有介绍Chat2DB。
chat2db教程：根据对话内容生成SQL语句
学亮编程手记
09-12 367
【代码】chat2db教程：根据对话内容生成SQL语句。
还在用Navicat操作数据库？赶紧卸载了，SQL界的Cursor：Chat2DB 3.0，它来了！
技术Z先生的博客
03-12 1908
使用邀请码**AI66nb**享受Chat2DB9折优惠，体验其强大功能，让数据库管理变得更加轻松和高效！
Chat2DB-SQL-7B模型介绍
学亮编程手记
02-24 716
Chat2DB-GLM是开源项目的组成部分，旨在提供一个高效的途径，将自然语言查询转换为结构化的SQL语句。此次开源的模型，拥有7B参数，基于CodeLlama进行了精心微调。这一模型专为自然语言转SQL任务设计，支持多种SQL方言，并且具有高达16k的上下文长度处理能力。
Text2SQL研究（一）-Chat2DB体验与剖析
it_fly的专栏
02-07 2876
Chat2DB案例测试与原理剖析
Text 2 SQL案例 - Chat2DB 体验有感
甘蓝的专栏
08-14 1802
最近阿里巴巴开源了Chat2DB这样一款开源、集成AI的数据库客户端，我也来体验一把。
利用ChatGLM3构建Prompt实现Text2SQL
weixin_44455388的博客
01-04 4811
将自然语言文本（Text）转换成结构化查询语言 SQL，帮助用户快速生成想要查询的 SQL 语句；或者是用户输入一段话，然后系统完成一系列自动化查询和报表展示的操作，过自然语言描述完成复杂数据库的查询工作，得到想要的结果。
基于人工智能的数据库工具Chat2DB使用
勤于笔记，成于点滴。
01-03 2924
Chat2DB 是一款有开源免费的多数据库客户端工具，集成了AIGC 生成式人工智能。其主要功能包括自然语言转sql、优化sql、转化sql、解释sql等功能，是一个真正意义上减轻劳动和提高效率的一款大模型数据库客户端工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值