Text2SQL之Vanna优化

最新推荐文章于 2024-06-19 15:41:59 发布
最新推荐文章于 2024-06-19 15:41:59 发布
阅读量248 收藏
点赞数
分类专栏： 大模型通关打怪之旅 文章标签： Text2SQL 深度学习 人工智能 LLM python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44193969/article/details/139753975
版权

文章目录

前言

前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG

最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。

一、优化方向

既然本质是RAG，那顺着RAG的优化方向走，准没错。

  • 文档增强：
    • 对文档进行摘要：先对摘要进行检索，如果有必要，才深入文档细节
    • 对文档进行QA生成：同时检索文档和生成的QA
    • 数据清洗，去除文档中存在的特殊字符或不相关信息
  • 元数据过滤：例如对query和文档分类，对应类别的query只查找对应类别的文档，能有效提升检索效率和召回率
  • 混合检索：语义检索 + 关键词检索
  • query改写：让LLM对query改写，在嵌入空间中，看似相同的两个问题并不一定很相似
    • 同义词替换：例如，将“LLM”、“大语言模型”和“大模型”标准化为通用术语。
    • 缩写替换
  • query分解：将复杂query分解成多个子问题，逐个进行匹配，然后汇总文档，生成答案
  • HyDE: 用LLM直接生成query的回答，将生成的答案与query 拼接，再进行RAG
  • 文档分块优化：
    • 内容重叠分块&
了解本专栏 订阅专栏 解锁全文
ToTensor
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Text2SQL之不装了，我也是RAG
qq_44193969的博客
06-01 137
这是很典型的Text2SQL的应用场景了，为了实现这一需求，很容想到的是把创建的表和表的描述都放进prompt里，让LLM去根据表的结构生成SQL语句，再利用工具去执行SQL语句，拿到查询结果后，再丢给LLM，让LLM根据给定的内容回答问题。我这里没有对Query-SQL对中的SQL做检索，主要是考虑到用户的Query与SQL语句的相关性并不大，当然，获取数据这里修改成只计算Query的相关性时，你还需要对Query-SQL的向量化部分进行相应修改，应改成只对Query embedding。
Text-to-SQL 工具Vanna进阶|数据库对话机器人的多轮对话
sinat_29950703的博客
03-13 908
跟数据库对话机器人对话，我可不止一个问题。可能基于第一句问话，还有第二句、第三句问话。。。第N句对话。所以本文测试了多轮对话功能。单轮对话的环境搭建参考博客我的数据是这样。
Text-to-SQL 工具Vanna + MySQL本地部署 | 数据库对话机器人
sinat_29950703的博客
03-13 4944
Vanna 是一个基于 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。它允许用户在数据上训练一个 RAG “模型”，然后提问问题，这将生成在数据库上运行的 SQL 查询语句，并将查询结果通过表格和图表的方式展示给用户。简单的说，Vanna是一个开源的、基于Python的、用于SQL自动生成与相关功能的RAG（检索增强生成）框架。RAG最典型的应用是私有知识库问答。
NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]
丨汀、的博客
04-13 1596
NL2SQL进阶系列(3)：Data-Copilot、Chat2DB、Vanna Text2SQL优化框架开源应用实践详解[Text2SQL]
Text2Sql相关总结
weixin_41797870的博客
07-30 5507
前段时间了接触到Text2Sql，调研了解了一些，大致整理下。 简介 Text-to-SQL系统能够将自然语言描述转化成对应的SQL查询语句，这项技术能够有效地辅助人们对海量的数据库进行查询。因此，该项研究引起了工业界和学术界的广泛关注。其中，WikiSQL、Spider等大规模标注数据集进一步指出了该技术目前面临的挑战：泛化性（跨领域）、复杂性（SQL语法）、正确性（问题和表格的对齐关系），也促进了一系列后续算法的研究与系统的开发。 在这里，我们给出Text-to-SQL任务一个相对正式的定义：在给定关系
7.3K Stars！Text2SQL还不够？试试更精准的RAG2SQL开源工具
深入Java世界：探索编程之美与技术深度
05-22 998
Vanna 是一个开源的基于大模型和 RAG 的 Text2SQL 工具，Vanna 通过结合RAG 框架、大语言模型、高质量的训练数据、持续优化能力、广泛的数据库支持以及开源定制化的特点，实现了在复杂数据集上的高精度表现。使用 Vanna 可以使用任何的大模型、任何的向量数据库、任何的前端，和任何的关系数据库交互。
Vanna AI：告别代码，用自然语言轻松查询数据库，领先的RAG2SQL技术让结果更智能、更精准！
FrenzyTechAI的博客
05-21 1356
Vanna，是一款革命性的AI SQL智能体，可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下，Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型（LLM）。Vanna 通过预训练模型，结合你的数据库进行微调，可以快速帮你量身打造一个定制化的AI助手。Vanna 是一个获得 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。GitHub 已经高达7200 颗星。
9个优秀的Text2Sql（Chat2Sql）开源项目、资源
人工智能讲师分享前沿技术
06-11 877
随着大模型能力逐步强大、场景越来越丰富，从Text到sql或者从Chat到sql的方案也十分火热，这个方案主要是利用大模型将自然语言转化为可以执行的Sql语句，进行数据分析，并根据结果实现报告生成或者可视化展示。这种方案提高了领导们随时想要报告的效率，缓解了应对向上汇报的焦虑，在许多决策支持、大屏展示等场景中非常见效。 本文主要收集了几个比较优秀的Text2Sql相关的开源项目或者资源，供借鉴。
实验报告2.spv
10-05
实验报告2.spv
Vanilla Option - Greeks - Black Scholes - Close Form：通过 B/S 计算香草期权希腊人-matlab开发
05-30
Delta、Gamma、Vega、Rho、Theta、Vanna、伏尔加
动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集
李思成的博客
06-18 343
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集。
SSA-CNN多输入时序|樽海鞘算法-卷积神经网络|Matlab
不定时分享电力优化、神经网络、数学建模等技术等
06-19 280
本代码基于。
神经网络学习3-卷积层
最新发布
drarad的博客
06-19 333
膨胀卷积，也被称为空洞卷积或扩张卷积，是一种特殊的卷积运算，它在标准卷积的基础上引入了一个额外的超参数，即膨胀率（dilation rate）。这个超参数决定了在卷积核的元素之间插入多少额外的空间。通过这种方式，膨胀卷积能够在不增加计算复杂度的同时，扩大卷积运算的采样范围，从而增加感受野（receptive field）的大小。感受野指的是卷积神经网络中某一层输出结果中一个元素所对应的输入层的区域大小，它代表了卷积核在图像上看到的区域大小。感受野越大，包含的上下文关系越多，有利于捕捉更广泛的图像信息。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-10权重衰减
李思成的博客
06-18 333
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-10权重衰减。
【机器学习300问】125、什么是双向循环神经网络（BRNN）？什么是深度循环神经网络（DRNN）？
qq_39780701的博客
06-19 953
BRNN诞生背景、所解决问题、BRNN的网络结构、BRNN使用领域；DRNN是什么？DRNN的网络结构、DRNN的优缺点。
【深度学习】TCN，An Empirical Evaluation of Generic Convolutional【一】
q742971636的博客
06-16 746
对于大多数深度学习从业者来说，序列建模几乎是循环网络的同义词。然而，最近的研究结果表明，在音频合成和机器翻译等任务上，卷积架构可以超越循环网络。面对新的序列建模任务或数据集时，应该选择哪种架构呢？我们对通用的卷积和循环架构进行了系统评估。模型在一系列常用于基准测试循环网络的标准任务上进行了评估。我们的结果表明，简单的卷积架构在多种任务和数据集上优于经典的循环网络（如LSTMs），并表现出更长的有效记忆。我们得出结论，序列建模与循环网络的常见关联应重新考虑，卷积网络应被视为序列建模任务的自然起点。
基于深度学习的物体材质预测
weixin_42605076的博客
06-16 550
基于深度学习的物体材质预测通过卷积神经网络、多任务学习、多尺度特征融合、生成对抗网络和注意力机制等方法，实现了对物体材质的高效预测。尽管面临数据集多样性、光照和视角变化、模型轻量化等挑战，但通过不断的发展和创新，深度学习在物体材质预测领域展现出广阔的应用前景。未来，随着数据集和模型技术的进步，材质预测将进一步提升精度和鲁棒性，在更多实际应用中发挥重要作用。
计算机毕业设计Django+Vue.js考研推荐系统 考研分数线预测 中公考研爬虫 混合神经网络推荐算法 考研可视化 机器学习 深度学习 大数据毕业设计
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-17 946
计算机毕业设计Django+Vue.js考研推荐系统 考研分数线预测 中公考研爬虫 混合神经网络推荐算法 考研可视化 机器学习 深度学习 大数据毕业设计
查询dblink sql
05-13
`dblink` 是 PostgreSQL 数据库中的一个模块，它允许在一个 PostgreSQL 数据库中访问另一个 PostgreSQL 数据库的数据。使用 `dblink`，可以在一个数据库中执行 SQL 查询，将结果传递到另一个数据库中，并将结果返回到原始查询的结果集中。 下面是一个 `dblink` 查询的示例： ``` SELECT * FROM dblink('dbname=mydb host=myhost user=myuser password=mypass', 'SELECT * FROM mytable') AS t(id int, name text); ``` 在这个示例中，我们使用 `dblink` 访问名为 `mydb` 的数据库，并执行 `SELECT * FROM mytable` 查询。我们将查询的结果作为一个名为 `t` 的表返回，并指定结果集的两个列名为 `id` 和 `name`。 要使用 `dblink`，需要确保 `dblink` 模块已经被安装并启用。你可以使用以下命令检查是否已经安装了 `dblink`： ``` SELECT * FROM pg_available_extensions WHERE name = 'dblink'; ``` 如果返回一行记录，则说明 `dblink` 已经被安装。如果没有返回记录，则需要使用以下命令安装 `dblink`： ``` CREATE EXTENSION dblink; ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ToTensor

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值