【LLM之NL2SQL】DAIL-SQL论文阅读笔记

最新推荐文章于 2024-06-24 14:32:00 发布
最新推荐文章于 2024-06-24 14:32:00 发布
阅读量803 收藏 19
点赞数 10
分类专栏： LLM 文章标签： 论文阅读 笔记 LLM nl2sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33455447/article/details/139828297
版权

研究背景

该研究旨在提供一个全面、系统的评估框架，用于评估基于大型语言模型（LLM）的Text-to-SQL技术。特别强调了不同的提示工程策略的有效性和效率，以及开源LLM的可行性。研究的重点是评估在零样本和少样本场景下的不同问题表示方式，样本选择和组织策略的效果。

研究目标

研究目标是提供Text-to-SQL提示工程的系统性和深入理解，通过实证评估先前研究中的几种策略，并探索开源LLM在不同提示工程策略下的性能表现。

相关工作

相关工作部分详细讨论了基于LLM的Text-to-SQL的各种方法，包括五种问题表示方法、两种提示组件、四种样本选择和三种样本组织策略。

五种问题表示方法

  • 基础提示 (Basic Prompt, BS P)：只包括表结构和自然语言问题，问题部分以“Q:”开头，回应以“A: SELECT”开头，促使LLM生成SQL。
    在这里插入图片描述
  • 文本表示提示 (Text Representation Prompt, TR P)：包括指令、表结构和问题，用自然语言表示，相较于基础提示，它在提示开始时添加了指导性的语句。
    在这里插入图片描述
  • OpenAI演示提示 (OpenAI Demonstration Prompt, OD P)：在官方演示中使用，包括指令、表结构和问题，所有信息都用井号“#”注释。
    在这里插入图片描述
  • 代码表示提示 (Code Representation Prompt, CR P)：以SQL语法呈现Text-to-SQL任务，直接展示“CREATE TABLE” SQL，提示中包含自然语言问题。
    在这里插入图片描述
  • Alpaca SFT提示 (Alpaca SFT Prompt, AS P)：专为监督微调设计的提示，遵循指令并根据输入上下文完成任务。
    在这里插入图片描述

两种提示组件
指令 (Instruction, INS)：如“编写一个SQL来回答问题”，用于描述任务。
规则含义 (Rule Implication, RI)：如“仅完成sqlite SQL查询并且不需要解释”，用于引导LLM的生成过程。

四种样本选择策略
随机选择 (Random)：从可用候选项中随机抽取样本。
问题相似性选择 (Question Similarity Selection, QTS S)：选择与目标问题最相似的样本。
掩码问题相似性选择 (Masked Question Similarity Selection, MQS S)：在计算相似性前，用掩码替换所有问题中的表名、列名和值。
目标SQL相似性选择 (Query Similarity Selection, QRS S)：选择与目标SQL查询最相似的样本。

两种样本组织策略
完整信息组织 (Full-Information Organization, FIO)：示例完整地提供问题和对应的SQL，帮助模型理解和学习两者之间的映射关系。（输入包括数据库结构信息、相似sql QA对）
在这里插入图片描述
仅SQL组织 (SQL-Only Organization, SOO)：此策略仅使用SQL语句作为样本，不包括任何自然语言问题描述。它强调直接学习SQL语句的构造，适合在模型已经具备一定理解基础的情况下，专注于提升SQL生成的准确性。
在这里插入图片描述

方法论

问题表示 (Question Representation)

DAIL-SQL 使用Code Representation (CR P) 作为问题表示方法。这种表示方式包括数据库的完整信息，如主键和外键，这些信息对于预测如“JOIN”子句等SQL结构特别有用。CR P在预训练的编码语料库上进行训练，因此LLMs能够更好地理解并处理这种格式的提示。在这里插入图片描述

样本选择 (Example Selection)

DAIL-SQL采用了一种名为DAIL Selection的样本选择策略，这种策略不仅考虑问题的相似性，也考虑查询的相似性。这种选择方法首先在目标问题和候选样本问题中屏蔽掉特定领域的词汇，然后根据问题和查询的欧几里得距离来对候选样本进行排序，并选择那些与目标查询有高相似度的样本。

样本组织 (Example Organization)

为了保留问题与SQL查询之间的映射信息并提高令牌效率，DAIL-SQL 提出了一种新的样本组织策略，名为DAIL Organization。这种策略在保留问题-SQL映射的同时，通过移除令牌成本较高的数据库模式信息来减少样本的令牌长度。
在这里插入图片描述

实验

实验设计

实验设计包括在Spider和BIRD数据集上评估DAIL-SQL的效果，测试了不同的提示策略和LLM模型。使用执行准确性（Execution Accuracy，EX）和精确集合匹配（Exact Set Match，ESM）作为主要评估指标。

实验结论

  • DAIL-SQL在Spider和BIRD数据集上均达到了新的最佳性能，特别是在执行准确性方面，超过了现有的所有基线模型和方法。
  • 在问题表示方面，Code Representation (CR P) 表现出最好的效果，显示了结构化提示对提升模型理解和处理能力的重要性。
  • DAIL样本选择策略在精确度和效率上均优于随机选择，表明针对性的样本筛选和优化是提升性能的关键。
  • DAIL组织策略通过精确地控制信息展示，有效减少了不必要的令牌消耗，同时保持了高查询准确性。

参考资料

六神就是我
关注
  • 10
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解[Text2SQL]
丨汀、的博客
04-12 1400
NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解[Text2SQL]
NL2SQL进阶系列(4)：ConvAI、DIN-SQL、C3-浙大、DAIL-SQL-阿里等16个业界开源应用实践详解[Text2SQL]
丨汀、的博客
04-13 1191
NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]
【LLM之NL2SQL】DIN-SQL论文阅读笔记
<p>专注挖坑</p>
06-18 898
研究关注于使用大型语言模型（LLMs）进行复杂的Text-to-SQL任务，目标是弥补精调模型与基于提示的方法之间的差距。早期系统依赖于特定领域或基于规则的方法，而最近的系统利用深度神经网络模型和LLMs，以提高领域独立性和效率。
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 832
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
DAIL-SQL：LLM在Text-to-SQL任务中的详细评估
u011426236的博客
01-31 1630
Text-to-SQL任务是将自然语言问题转换成SQL查询，这对自然语言处理和数据库领域都是一项挑战。近年来，大型语言模型（LLMs）成为Text-to-SQL任务的新范式。特别是，GPT-4实现了在Spider排行榜上85.3%的执行准确率。尽管已有研究取得进展，但LLM基础的Text-to-SQL解决方案的提示工程缺乏系统性研究。目前研究集中在问题表示、示例选择和示例组织上，以适应LLM的偏好和性能。与OpenAI LLMs相比，开源LLMs的性能和上下文理解能力相对有限，需要通过监督式微调来提升。
探索高效SQL优化：DAIL-SQL——LLM在Text-to-SQL任务中的新里程碑
gitblog_00026的博客
05-27 426
探索高效SQL优化：DAIL-SQL——LLM在Text-to-SQL任务中的新里程碑 项目地址:https://gitcode.com/BeachWang/DAIL-SQL DAIL-SQL是一个创新的解决方案，旨在利用大型语言模型（LLM）来优化Text-to-SQL的任务执行效率。在Spider数据集上的测试中，DAIL-SQL取得了惊人的86.2%执行准确率，并通过自一致性投票在Spide...
大模型LLM Agent在 Text2SQL 应用上的实践
机器学习社区
01-11 2676
在上篇文章中「如何通过Prompt优化Text2SQL的效果」介绍了基于Prompt Engineering来优化Text2SQL效果的实践，除此之外我们还可以使用Agent来优化大模型应用的效果。本文将从以下4个方面探讨通过AI Agent来优化LLM的Text2SQL转换效果。1 Agent概述2 LangChain中的Agent模块3 Agent优化Text2SQL效果的实践4 后续计划2.1 Agent概念。
论文阅读：Interleaving Pre-Trained Language Models and Large LanguageModels for Zero-Shot NL2SQL Generat
qq_42681787的博客
08-16 597
摘要： 零样本NL2SQL在实现自然语言到SQL中至关重要，它能够在0注释的NL2SQL样例环境中自适应新的数据库、新的SQL语言。现有的NL2SQL研究方法要么根据带注释的数据去微调预训练模型（PLM），要么使用提示词指导大语言模型(LLM)。PLM 在模式对齐方面表现良好，但难以实现复杂推理，而 LLM 在复杂推理任务中表现出色，但无法实现精确的模式对齐。在本文中，我们提出了一个 ZeroNL2SQL 框架，它结合了 PLM 和 LLM 的互补优势，以支持零样本 NL2SQL。ZeroNL2SQL 首
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于...
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
Text2SQL 语义解析数据集、解决方案、paper资源整合项目sql
05-14
Text to SQL( 以下简称Text2SQL)，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（Semantic Parsing）领域中的子任务。 它的目的可以简单概括为：“打破人与结构化数据之间的...
改进了文本到 SQL 的大型语言模型适配（中文版）
07-08
在本文中，我们提出了一个基于 LLM 的文本到 SQL 模型 SQL-PaLM，利用 PaLM-2，在两种设置中推动了最先进的技术。Few-shot SQL-PaLM 基于为 Text-to-SQL 设计的基于执行的自洽提示方法，并在 Spider 上的测试套件...
Rich Human Feedback for Text-to-Image Generation 读论文笔记
qq_47183165的博客
06-21 1044
Motivation：探索如何优化如Stable Diffusion T2I生成模型的优化问题，因为这些模型都会有诸如伪影，与文字描述不匹配和美学质量低等问题。本文参考大语言模型强化学习的方式，训练奖励模型来改进生成模型。Contribusion：在收集的数据集（RichHF18K）收集feedback，通过选择高质量的训练数据和改进来生成模型，或者使用预测的heatmap来创建掩码，修复有问题的区域。一个多模态Transformer模型对生成的图像进行丰富的反馈预测。
TWM论文阅读笔记
read, note and comment papers
06-17 801
lzarzaht​ht​rt​γt​zt1​pf3l−1lht​rt​dt​γγγγγt​0γt​γγ0γot​ot​zt​ht​zt​。
STORM论文阅读笔记
read, note and comment papers
06-17 765
这是篇NIPS2023的 world model 论文 文章提出，WM的误差会在训练过程中积累从而影响policy的训练，向WM中加噪声可以改善这一点。 其他的流程和IRIS差不多，差别在以下几点： image encoder，IRIS用的VQVAE, 本文用的是VAE，用VAE的采样方式来生成zt，从而为zt加噪声。 sequence model，IRIS用GPT循环输出image的每个token，本文直接用MLP把生成的 ztz_tzt​ 和动作 ata_tat​ 输出成一个token，这样GPT
transdreamer 论文阅读笔记
read, note and comment papers
06-18 337
这篇文章是对dreamer系列的改进，是一篇world model 的论文 改进点在于，dreamer用的是循环神经网络，本文想把它改成transformer，并且希望能利用transformer实现并行训练。 改成transformer的话有个地方要改掉，dreamer用ht和xt来预测zt，但transformer要实现并行训练的话，最好是不要有ht，因为ht依赖transformer来预测，而transformer又需要zt作为输入，形成循环依赖就只能一步一步地生成。为此，把zt的预测改成只依赖于
EfficientNet-V1论文阅读笔记
最新发布
weixin_47365232的博客
06-24 592
（1）本文系统地研究了模型的缩放，并且研究确定通过仔细平衡网络深度、宽度和分辨率可以带来更好的性能。（2）本文提出了一种新的缩放方法，使用一个简单而高效的复合系数统一缩放深度/宽度/分辨率的所有维度。（3）本文使用神经结构搜索来设计一个新的基线网络，并将其扩大到获得一个模型系列，称为EfficientNets。
deepke-llm
07-28
DeepKE-LLM是DeepKE项目的一个版本，它是一个开源可扩展的知识图谱抽取工具。DeepKE-LLM可以实现命名实体识别、关系抽取和属性抽取等抽取任务，并支持低资源少样本、文档篇章和多模态等复杂场景。该版本基于大模型对数据进行智能解析以实现知识抽取，支持多种大模型、遵循指令和自定义知识类型、格式。\[3\] #### 引用[.reference_title] - *1* *2* *3* [开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/131297637)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值