Text-to-SQL小白入门（四）指令进化大模型WizardLM

已于 2023-09-04 12:00:24 修改
阅读量1.2k 收藏 2
点赞数 1
分类专栏： Text-to-SQL 文章标签： text2sql LLM SQL WizardLM Llama
于 2023-09-04 11:42:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40755094/article/details/132665945
版权

摘要

本文主要对大模型WizardLM的基本信息进行了简单介绍，展示了WizardLM取得的优秀性能，分析了论文的核心——指令进化方法。

论文概述

基本信息

摘要

  • 论文展示了使用LLM而不是人工来创建具有不同复杂程度的大量指令数据的途径。
  • 从一组初始指令开始，通过进化指令逐步将它们重写为更复杂的指令。然后，将生成的所有指令数据进行混合来微调LLaMA。
  • 论文将生成的模型称为WizardLM。
  • 在复杂平衡测试平台和Vicuna测试集上的人类评估表明，来自evolution - instruct的指令优于人类创造的指令。
  • 通过分析高复杂性部分的人工评估结果，论文证明了WizardLM模型的输出比OpenAI，ChatGPT的输出更受欢迎。在GPT-4自动评估中，WizardLM在29项技能中的17项达到了ChatGPT 90%以上的能力

WizardLM模型性能优越，可以作为text2sql的基座模型，github上有个DB-GPT-Hub项目开源了大模型微调text2sql的pipline，模型支持也有WizardLM模型（这是DB-GPT项目的子项目），其中提供了数据集下载-数据集预处理-模型下载-模型微调-模型权重合并-模型预测-模型评估，如果没有GPU可以使用AutoDL平台按需使用。

  • DB-GPT_Hub项目：目前有200多star，专注于text2sql大模型微调领域，大家也可以去贡献代码，比如模型支持里面也有WizardLM。

WizardLM模型的思想值得借鉴，后面还有模型Code Llama更加出色，后面再介绍。

结果

收集测试集

  • 网上收集的指令测试集：总共218个例子，分成了29项类别，比如有数学math、代码生成、写作等等。
  • 图3a说明了测试集中实例和技能的分布。测试集由218个实例组成，每个实例都是针对特定技能的指令。
  • 图3b比较了和Vicuna小羊驼、Alpaca羊驼

人工打分评估

为了评估WizardLM，在evolution - directive测试集上进行了人类评估。我们在WizardLM和基线之间进行盲两两比较。具体来说，招募了10名受过良好教育的注释员。对于每个注释者，提供了来自Alpaca、Vicuna-7b、WizardLM和ChatGPT的四个响应，这些响应被随机打乱以隐藏其来源。然后评注者根据附录h中的标准判断哪一个回答更好，然后他们应该将四个回答从1到5进行排序(1表示最好)，并允许同等分数的可比较实例。

  • 比如图4a中Evol-Instruct testset数据集上，跟ChatGPT相比，WizardLM赢了61次，ChatGPT赢了89次，平局68次。（总共218）

GPT4自动评估

  • 如图5a和5b所示，WizardLM-78.0%在evolo-instruct测试集上的性能明显优于Alpaca-7B-71.8%和Vicuna-7B-72.2%(分别优于Alpaca-7B和Vicuna-7B的性能6.2%和5.8%)

  • 图6比较了WizardLM和ChatGPT在evolution - directive测试集上的技能水平。结果表明，WizardLM的平均性能达到了ChatGPT的78%，17项技能的容量几乎超过了90%。然而，WizardLM在代码、数学和推理场景方面遇到了困难，显示出与ChatGPT的明显差距。（所以后面有WizardCoder）

结论

本文提出了一种进化算法——evolution-directive，用于生成多种复杂的LLM指令数据。论文证明提出的方法提高了LLM的性能，WizardLM，在高复杂性任务上取得了最先进的结果，在其他指标上取得了具有竞争力的结果。

局限性（评估方法）：本文承认我们的自动GPT-4和人工评估方法的局限性。这种方法对可扩展性和可靠性提出了挑战。此外，我们的测试集可能无法代表LLM可以应用或与其他方法进行比较的所有场景或领域。

更广泛的影响。evolo - instruct可以提高LLM在各个领域和应用中的性能和交互性，但它也可能产生不道德、有害或误导性的指令。因此，我们敦促未来对人工智能进化指令的研究，以解决伦理和社会影响。

核心思想

这个图看着还挺有意思的

很简约

图形化很不错

只不过作为模型核心结构会有点懵

instruction data evolution指令数据演化

输入指令I1-instruction，通过LLM得到答复R1-response

输入指令I2-instruction，通过LLM得到答复R2-response

不断迭代

指令I1如何更新为指令2？

  • 通过LLM instruction evolution prompt 指令进化提示词

instruction evolution prompt是什么？

  • 参考下方的指令进化器

Automatic Instruction Data Evolution自动指令数据演化

pipline 分成3个部分：

  • 1)指令进化
  • 2)响应生成
  • 3)消除进化，即过滤无法进化的指令。

指令进化instruction evolution

作者发现LLM可以使用特定的提示使给定的指令变得更加复杂和困难。此外，它们可以生成同样复杂但完全不同的全新指令。

利用这一发现，我们可以迭代地进化一个初始指令数据集，提高难度水平，扩大其丰富性和多样性。

1.用给定的初始指令数据集D(0)初始化指令池。

2.在每个进化时期，从前一个时期升级的指令从池中取出。

3.然后利用指令进化器instruction evolver来进化每条获取到的指令，并利用指令消除器instruction eliminator来检查是否存在进化失败的指令。

  • 成功进化的指令被添加到池中
  • 不成功的指令被放回原处，希望在下一个进化时期成功升级它们。

指令进化器instruction evolver

指令进化器是一种LLM，它使用提示来进化指令，有两种类型:深度进化和广度进化。

深度进化

深度进化通过五种类型的提示来增强指令的复杂性和难度:

  • 添加约束
  • 使得深度化
  • 使得具体化
  • 增加推理步骤
  • 使输入变得复杂化。

举例子：

  • 这是添加约束add contraints：
I want you act as a Prompt Rewriter.
Your objective is to rewrite a given prompt into a more complex version to make those famous AI systems (e.g., ChatGPT and GPT4) a bit harder to handle.
But the rewritten prompt must be reasonable and must be understood and responded by humans.
Your rewriting cannot omit the non-text parts such as the table and code in #Given Prompt#:. Also, please do not omit the input in #Given Prompt#.
You SHOULD complicate the given prompt using the following method:
Please add one more constraints/requirements into #Given Prompt#
You should try your best not to make the #Rewritten Prompt# become verbose, #Rewritten Prompt# can only add 10 to 20 words into #Given Prompt#.
‘#Given Prompt#’, ‘#Rewritten Prompt#’, ‘given prompt’ and ‘rewritten prompt’ are not allowed to appear in #Rewritten Prompt#
#Given Prompt#:
<Here is instruction.>
#Rewritten Prompt#:
  • 这是Deepening Prompt深化：
I want you act as a Prompt Rewriter.
Your objective is to rewrite a given prompt into a more complex version to make those famous AI systems (e.g., ChatGPT and GPT4) a bit harder to handle.
But the rewritten prompt must be reasonable and must be understood and responded by humans.
Your rewriting cannot omit the non-text parts such as the table and code in #Given Prompt#:. Also, please do not omit the input in #Given Prompt#.
You SHOULD complicate the given prompt using the following method:
If #Given Prompt# contains inquiries about certain issues, the depth and breadth of the inquiry can be increased. or
You should try your best not to make the #Rewritten Prompt# become verbose, #Rewritten Prompt# can only add 10 to 20 words into #Given Prompt#.
‘#Given Prompt#’, ‘#Rewritten Prompt#’, ‘given prompt’ and ‘rewritten prompt’ are not allowed to appear in #Rewritten Prompt#
#Given Prompt#:
<Here is instruction.>
#Rewritten Prompt#:
  • 这是具体化Concretizing Pormpt：
I want you act as a Prompt Rewriter.
Your objective is to rewrite a given prompt into a more complex version to make those famous AI systems (e.g., ChatGPT and GPT4) a bit harder to handle.
But the rewritten prompt must be reasonable and must be understood and responded by humans.
Your rewriting cannot omit the non-text parts such as the table and code in #Given Prompt#:. Also, please do not omit the input in #Given Prompt#.
You SHOULD complicate the given prompt using the following method:
Please replace general concepts with more specific concepts. or
You should try your best not to make the #Rewritten Prompt# become verbose, #Rewritten Prompt# can only add 10 to 20 words into #Given Prompt#.
‘#Given Prompt#’, ‘#Rewritten Prompt#’, ‘given prompt’ and ‘rewritten prompt’ are not allowed to appear in #Rewritten Prompt#
#Given Prompt#:
<Here is instruction.>
#Rewritten Prompt#:

  • Increased Reasoning Steps Prompt:
I want you act as a Prompt Rewriter.
Your objective is to rewrite a given prompt into a more complex version to make those famous AI systems (e.g., ChatGPT and GPT4) a bit harder to handle.
But the rewritten prompt must be reasonable and must be understood and responded by humans.
Your rewriting cannot omit the non-text parts such as the table and code in #Given Prompt#:. Also, please do not omit the input in #Given Prompt#.
You SHOULD complicate the given prompt using the following method:
If #Given Prompt# can be solved with just a few simple thinking processes, you can rewrite it to explicitly request multiple-step reasoning.
You should try your best not to make the #Rewritten Prompt# become verbose, #Rewritten Prompt# can only add 10 to 20 words into #Given Prompt#.
‘#Given Prompt#’, ‘#Rewritten Prompt#’, ‘given prompt’ and ‘rewritten prompt’ are not allowed to appear in #Rewritten Prompt#
#Given Prompt#:
<Here is instruction.>
#Rewritten Prompt#:
  • 这是complicating input：
I want you act as a Prompt Rewriter.
Your objective is to rewrite a given prompt into a more complex version to make those famous AI systems (e.g., ChatGPT and GPT4) a bit harder to handle.
But the rewritten prompt must be reasonable and must be understood and responded by humans.
You must add [XML data] format data as input data in [Rewritten Prompt]
#Given Prompt#:
<Here is Demonstration instruction 1.>
#Rewritten Prompt#:
<Here is Demonstration Example 1.>
... N -1 Examples ...
I want you act as a Prompt Rewriter.
Your objective is to rewrite a given prompt into a more complex version to make those famous AI systems (e.g., ChatGPT and GPT4) a bit harder to handle.
But the rewritten prompt must be reasonable and must be understood and responded by humans.
You must add [#Given Dataformat#] format data as input data, add [#Given Dataformat#] code as input code in [Rewritten Prompt]
Rewrite prompt must be a question style instruction
#Given Prompt#:
<Here is instruction.>
#Rewrite prompt must be a question style instruction Rewritten Prompt(MUST contain a specific JSON data as input#:
广度进化
I want you act as a Prompt Creator.
Your goal is to draw inspiration from the #Given Prompt# to create a brand new prompt.
This new prompt should belong to the same domain as the #Given Prompt# but be even more rare.
The LENGTH and difficulty level of the #Created Prompt# should be similar to that of the #Given Prompt#. The #Created Prompt# must be reasonable and must be understood and responded by humans.
‘#Given Prompt#’, ‘#Created Prompt#’, ‘given prompt’ and ‘created prompt’ are not allowed to appear in #Created Prompt#.
#Given Prompt#:
<Here is instruction.>
#Created Prompt#:

生成response

  • 使用与进化相同的LLM来为进化的指令生成相应的响应。生成提示符是" <Here is instruction.> "。

消除进化

有以下4种情况归类为失败：

  • 指令进化失败;与原始指令相比，进化后的指令没有提供任何信息增益。我们使用ChatGPT进行此确定。
  • 进化的指令使得LLM很难产生响应。我们发现，当生成的响应包含“sorry”并且长度相对较短(即少于80个单词)时，它通常表明LLM努力响应进化的指令。所以我们可以用这个规则来做判断。
  • LLM生成的响应只包含标点和停止词。
  • 进化指令显然从进化提示中复制了一些单词，如“给定提示”、“重写提示”、“#重写提示#”等。

baseline

  • ChatGPT
    • OpenAI
    • AI bot
    • 基于GPT-3.5 or GPT-4
  • Alapaca
    • 开源模型，基于LLaMA
    • 斯坦福大学Standford University
  • Vicuna
    • 开源的chat bot
    • 基于LLaMA

参考文献

WizardLM论文：https://arxiv.org/abs/2304.12244

DB-GPT项目：https://github.com/eosphoros-ai/DB-GPT/blob/main/README.zh.md

DB-GPT-Hub项目：GitHub - eosphoros-ai/DB-GPT-Hub: A repository that contains models, datasets, and fine-tuning techniques for DB-GPT, with the purpose of enhancing model performance, especially in Text-to-SQL.

junewgl
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
text-to-sql:text生成sql语句
03-29
文字转SQL 介绍 刚开始，由我自己整理权限脚本... 只有很少数据的时候，还能接受手动复制粘贴... 在之后的功能开发中，发现需要整理的权限脚本越来越多... 可能需要花费半小时或一个小时的时间去整理脚本，还生怕会出错... 于是，就有了这个小工具... 现在，就可以正大光明的偷懒啦〜 使用 整理成如src下permission.txt的形式，试试吧... 菜单等级=等级（1 2 3），父菜单码 菜单代码菜单名称 源 level = 1 menu_activity_home 活动管理 /activity level = 2 , menu_activity_home menu_activity_lottery_list 抽奖活动管理 /activity/lotteryList menu_activity_groupon_list 团购活动管理 /activity/grouponList m
【论文阅读】让数据库听懂人话（Text-to-SQL）
热门推荐
一只热爱奔跑的程序猿
12-30 1万+
论文标题: 在跨领域数据库中引入中间表示来实现复杂Text2SQL 英文标题: Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation 论文下载链接: https://arxiv.org/abs/1905.08205 论文项目代码: GitHub@IRNet 摘要 本文提出一种名为IRNet的神经方法解决复杂的, 跨领域的(cross-domain) Text-to-SQL任务; IR
微软开源 WizardLM-2，70B优于GPT4-0613，7B持平阿里最新的Qwen1.5-32B
weixin_44455388的博客
04-16 1693
当地时间4月15号，微软发布了新一代大语言模型 WizardLM-2，新家族包括三个尖端型号:WizardLM-2 8x22B, WizardLM-2 70B，和WizardLM-2 7B，作为下一代最先进的大型语言模型，它在复杂聊天、多语言、推理和代理方面的性能有所提高。
【论文阅读】《Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation》
weixin_45606499的博客
11-09 1225
摘要大型语言模型（LLMs）已成为Text-to-SQL任务的一种新范式。然而，缺乏系统性的基准限制了设计有效、高效和经济的以大型语言模型为基础的 Text-to-SQL 解决方案的发展。为了应对这一挑战，本文首先对现有的提示工程方法进行了系统和广泛的比较，包括问题表示、示例选择和示例组织，并通过这些实验结果阐述了它们的优缺点。基于这些发现，我们提出了一种新的综合解决方案，名为 DAIL-SQL，它在 Spider 排行榜上以 86.6% 的执行准确性刷新了纪录，树立了新的标杆。
Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation 论文总结
m0_63793573的博客
01-06 1322
LLM逐渐成为了Text-to-SQL任务中的新范式。但过去由于缺乏较为系统的benchmark，人们难以设计有效、高效和经济的基于LLM的Text-to-SQL解决方案。为了应对这一挑战，本文首先对现有的prompt工程方法(包括问题表示、示例选择和示例组织)进行了系统而广泛的比较，并根据这些实验结果阐述了它们的优缺点。基于这些发现，作者的团队提出了一种新的集成解决方案， 称为DAIL-SQL，该解决方案以86.6%的执行准确率刷新了Spider排行榜，并设置了新的标准。
Text-to-SQL小白入门（一）综述学习
junewgl
08-01 2053
本文主要介绍了Text-to-SQL研究的定义、意义、研究方法以及未来展望，主要是对Text-to-SQL领域进行一个初步的认识和了解，适合初学者入门了解。
大模型Text-to-SQL微调的项目
04-11
《大模型Text-to-SQL微调的项目：深入探索与实践》 Text-to-SQL（自然语言到结构化查询语言）是人工智能领域的一个重要研究方向，它旨在将人类可读的自然语言转换为数据库理解的SQL查询。在这个项目中，我们将深入...
面向工业生产的中文Text-to-SQL模型.pdf
01-04
"面向工业生产的中文Text-to-SQL模型" 面向工业生产的中文Text-to-SQL模型是指将自然语言查询转换为 Structured Query Language（SQL）语句的技术，旨在解决工业生产中数据查询的需求。本文中提出的模型针对中文...
spider 数据集——Text-to-SQL
01-24
一个大规模复杂跨域语义解析和 text-to-SQL 数据集 Spider。该数据集由 11 名耶鲁大学学生标注，包含 10181 个问题和 5693 个独特的复杂 SQL 查询、200 个具备多个表的数据库，覆盖 138 个不同领域。
包含用于DB-GPT的模型、数据集和微调技术的存储库，其目的是增强Text-to-SQL中的模型性能
02-06
DB-GPT是一个专门针对Text-to-SQL任务的先进模型，旨在提升模型在处理SQL查询生成方面的性能。Text-to-SQL是自然语言处理领域的一个重要应用，它允许用户通过自然语言来查询数据库，然后将这些自然语言指令转化为...
大模型在Text-to-sql领域的应用和论文
qq_36001281的博客
11-19 1881
阿里团队名为DAIL-SQL的新的综合解决方案。使用开源LLM对比OpenAI LLM。文档比较了几种prompt engineering方法，探索高效的提示工程。提出了一种新的Text - to - SQL提示工程方法，命名为DAIL - SQL，该方法以86.6 %的执行准确率刷新了Spider排行榜中的最佳性能。
Text-to-SQL提示工程【Prompt Engineering】
新缸中之脑
05-18 1997
我们刚刚启动了一个开源项目pg-text-query，目标是为文本到 SQL 制作生产就绪的大型语言模型 (LLM) 提示。我们的目标是 利用 LLM、我们自己对 PostgreSQL 数据库的深入了解以及严格的测试来开发一流的文本到 SQL 的翻译。推荐：用快速搭建可编程3D场景。
Text-to-SQL小白入门（二）——Transformer学习
junewgl
08-16 1279
本文主要针对NLP任务中经典的Transformer模型的来源、用途、网络结构进行了详细描述，对后续NLP研究、注意力机制理解、大模型研究有一定帮助。
Text-to-SQL小白入门（十一）DAIL-SQL教你刷Spider榜单第一
junewgl
01-04 1707
Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation
语义解析 (Text-to-SQL)学习笔记1
PyIDEA
02-23 2012
组成部分 Text-to-SQL解析器和SQL执行器。 目前能做到的程度 SQL查询语句是一个符合语法、有逻辑结构的序列，其构成来自三部分：数据库、问题、SQL关键词。 在当前深度学习研究背景下，Text-to-SQL任务可被看作是一个类似于神经机器翻译的序列到序列的生成任务，主要采用Seq2Seq模型框架。基线Seq2Seq模型加入注意力、拷贝等机制后，在单领域数据集上可以达到80%以上的准确率，但在多领域数据集上效果很差，准确率均低于25%。 从编码和解码两个方面进行原因分析。 在编码阶段，问题与
NLP-语义分析（Semantic Parsing）：Text2SQL【“打破人与结构化数据之间的壁垒”，即普通用户可以通过自然语言描述完成复杂数据库的查询工作】
u013250861的博客
04-07 2561
Text to SQL( 以下简称Text2SQL)，是将自然语言文本（Text）转换成结构化查询语言SQL的过程，属于自然语言处理-语义分析（Semantic Parsing）领域中的子任务。，即普通用户可以通过完成复杂数据库的查询工作，得到想要的结果。
Text-to-SQL 工具Vanna + MySQL本地部署 | 数据库对话机器人
sinat_29950703的博客
03-13 6006
Vanna 是一个基于 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。它允许用户在数据上训练一个 RAG “模型”，然后提问问题，这将生成在数据库上运行的 SQL 查询语句，并将查询结果通过表格和图表的方式展示给用户。简单的说，Vanna是一个开源的、基于Python的、用于SQL自动生成与相关功能的RAG（检索增强生成）框架。RAG最典型的应用是私有知识库问答。
WizardLM-2大模型 重磅来袭
最新发布
04-17 5万+
微软最近推出了 WizardLM 2，这是一个突破性的大型语言模型系列，突破了人工智能的界限。这些模型展示了复杂聊天、多语言理解、推理和代理功能方面的显着改进，超越了其前身 WizardLM 和其他领先的开源模型。
改进了文本到 SQL 的大型语言模型适配（中文版）
07-08
大型语言模型 (LLM) 的一项令人印象深刻的新兴功能是代码生成，包括用于数据库的结构 化查询语言 (SQL)。对于将自然语言文本转换为 SQL 查询、Text-to-SQL 的任务，LLM 的适配在上下文学习和微调设置中都至关重要，具体取决于所使用的适配数据量。在本文中，我们提出了一个基于 LLM 的文本到 SQL 模型 SQL-PaLM，利用 PaLM-2，在两种设置中推动了最先进的技术。Few-shot SQL-PaLM 基于为 Text-to-SQL 设计的基于执行的自洽提示方法，并在 Spider 上的测试套件准确度达到 77.3 %，据我们所知，这是第一个超越之前状态的 -大幅微调的艺术，4% 。此外，我们通过另一个 1% 证明了经过微调的 SQL-PALM 进一步优于它。为了将 SQL-PaLM 应用于现实场景，我们进一步评估了它在其他具有挑战性的 Spider 变体上的稳健性，并展示了 SQL-PaLM 的卓越泛化能力。此外，通过广泛的案例研究，我们展示了基于 LLM 的 Text-to-SQL 令人印象深刻的智能功能和各种成功推动因素。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值