vanna学习日志（三）

最新推荐文章于 2024-08-28 17:40:17 发布
最新推荐文章于 2024-08-28 17:40:17 发布
阅读量775 收藏 11
点赞数 17
文章标签： 学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51192823/article/details/139602839
版权

文章目录

前言

vanna可实现自然语言转SQL，尝试本地部署vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。本文先对vanna源码进行分析

一、vanna源码分析

exceptions

定义了一些自定义异常，用于在 Vanna 项目中处理特定错误情况。

class ImproperlyConfigured(Exception):
    """配置错误时引发的异常。"""
    pass


class DependencyError(Exception):
    """缺少依赖项时引发的异常。"""
    pass


class ConnectionError(Exception):
    """连接错误时引发的异常。"""
    pass


class OTPCodeError(Exception):
    """OTP无效或无法发送时引发的异常。"""
    pass


class SQLRemoveError(Exception):
    """无法删除SQL时引发的异常。"""
    pass


class ExecutionError(Exception):
    """代码执行失败时引发的异常。"""
    pass


class ValidationError(Exception):
    """验证错误时引发的异常。"""
    pass


class APIError(Exception):
    """API相关错误时引发的异常。"""
    pass

flask

init.py

初始化和配置一个 Flask 应用，用于提供 Web 服务和 API 接口，以便与 Vanna 实例进行交互。

主要作用
缓存管理：定义一个缓存接口 Cache 及其内存实现 MemoryCache，用于在应用中缓存数据。
认证管理：提供认证装饰器 requires_auth，确保只有经过认证的用户才能访问某些路由。
路由定义：定义了多个 API 路由，用于处理不同的 HTTP 请求，例如生成 SQL、获取配置、管理训练数据等。
WebSocket 支持：使用 flask_sock 添加 WebSocket 支持，用于实时日志传输。

import json  # 导入处理JSON数据的库
import logging  # 导入日志记录库
import sys  # 导入系统模块，用于与Python解释器交互
import uuid  # 导入UUID模块，用于生成唯一标识符
from abc import ABC, abstractmethod  # 导入抽象基类和抽象方法
from functools import wraps  # 导入装饰器工具

import flask  # 导入Flask库，用于创建Web应用
import requests  # 导入请求库，用于发送HTTP请求
from flask import Flask, Response, jsonify, request  # 从Flask库中导入相关类和方法
from flask_sock import Sock  # 导入用于处理WebSocket的库

from .assets import css_content, html_content, js_content  # 导入静态资源内容
from .auth import AuthInterface, NoAuth  # 导入认证接口和无认证类

class Cache(ABC):
    """
    定义一个用于在Flask应用中存储数据的缓存接口。
    """

    @abstractmethod
    def generate_id(self, *args, **kwargs):
        """
        生成一个唯一的缓存ID。
        """
        pass

    @abstractmethod
    def get(self, id, field):
        """
        从缓存中获取一个值。
        """
        pass

    @abstractmethod
    def get_all(self, field_list) -> list:
        """
        从缓存中获取所有值。
        """
        pass

    @abstractmethod
    def set(self, id, field, value):
        """
        在缓存中设置一个值。
        """
        pass

    @abstractmethod
    def delete(self, id):
        """
        从缓存中删除一个值。
        """
        pass

class MemoryCache(Cache):
    def __init__(self):
        self.cache = {}  # 初始化一个空字典作为缓存

    def generate_id(self, *args, **kwargs):
        return str(uuid.uuid4())  # 生成一个UUID作为ID

    def set(self, id, field, value):
        if id not in self.cache:
            self.cache[id] = {}  # 如果ID不存在，则在缓存中创建一个新条目

        self.cache[id][field] = value  # 设置字段值

    def get(self, id, field):
        if id not in self.cache:
            return None  # 如果ID不存在，返回None

        if field not in self.cache[id]:
            return None  # 如果字段不存在，返回None

        return self.cache[id][field]  # 返回字段值

    def get_all(self, field_list) -> list:
        return [
            {"id": id, **{field: self.get(id=id, field=field) for field in field_list}}
            for id in self.cache
        ]  # 返回所有缓存条目

    def delete(self, id):
        if id in self.cache:
            del self.cache[id]  # 删除缓存条目

class VannaFlaskApp:
    flask_app = None  # 初始化flask_app为None

    def requires_cache(self, required_fields, optional_fields=[]):
        def decorator(f):
            @wraps(f)
            def decorated(*args, **kwargs):
                id = request.args.get("id")  # 从请求参数中获取ID

                if id is None:
                    id = request.json.get("id")  # 如果ID为空，从JSON数据中获取ID
                    if id is None:
                        return jsonify({"type": "error", "error": "No id provided"})  # 返回错误响应

                for field in required_fields:
                    if self.cache.get(id=id, field=field) is None:
                        return jsonify({"type": "error", "error": f"No {field} found"})  # 如果必需字段不存在，返回错误响应

                field_values = {
                    field: self.cache.get(id=id, field=field) for field in required_fields
                }  # 获取必需字段值

                for field in optional_fields:
                    field_values[field] = self.cache.get(id=id

auth.py

from abc import ABC, abstractmethod  # 导入抽象基类和抽象方法

import flask  # 导入Flask库，用于创建Web应用

class AuthInterface(ABC):
    @abstractmethod
    def get_user(self, flask_request) -> any:
        pass  # 获取用户信息

    @abstractmethod
    def is_logged_in(self, user: any) -> bool:
        pass  # 检查用户是否已登录

    @abstractmethod
    def override_config_for_user(self, user: any, config: dict) -> dict:
        pass  # 根据用户覆盖配置

    @abstractmethod
    def login_form(self) -> str:
        pass  # 返回登录表单的HTML

    @abstractmethod
    def login_handler(self, flask_request) -> str:
        pass  # 处理登录请求

    @abstractmethod
    def callback_handler(self, flask_request) -> str:
        pass  # 处理认证回调

    @abstractmethod
    def logout_handler(self, flask_request) -> str:
        pass  # 处理注销请求

class NoAuth(AuthInterface):
    def get_user(self, flask_request) -> any:
        return {}  # 返回空的用户信息

    def is_logged_in(self, user: any) -> bool:
        return True  # 始终返回True，表示用户已登录

    def override_config_for_user(self, user: any, config: dict) -> dict:
        return config  # 不修改配置，直接返回

    def login_form(self) -> str:
        return ''  # 返回空字符串，表示不需要登录表单

    def login_handler(self, flask_request) -> str:
        return 'No login required'  # 返回提示信息，表示不需要登录

    def callback_handler(self, flask_request) -> str:
        return 'No login required'  # 返回提示信息，表示不需要认证回调

    def logout_handler(self, flask_request) -> str:
        return 'No login required'  # 返回提示信息，表示不需要注销

ollama

ollama.py

  • 与 Ollama 模型的通信：Ollama 类实现了与 Ollama 模型的接口，通过 HTTP 请求与 Ollama 模型进行通信，发送提示并接收响应。
  • SQL 语句提取：提供从 LLM 响应中提取 SQL 语句的方法，便于后续处理和执行。
  • 日志记录：记录请求参数、提示内容和响应，便于调试和分析。

Ollama 类实现了与 Ollama 模型的基本接口，提供了初始化、消息处理、SQL 提取和提示提交等功能。该类用于与 Ollama 模型进行通信，发送提示并接收响应，同时记录相关日志以便调试和分析。

import json  # 导入 json 模块，用于处理 JSON 数据
import re  # 导入 re 模块，用于正则表达式操作

from httpx import Timeout  # 从 httpx 库导入 Timeout 类，用于设置请求超时

from ..base import VannaBase  # 从上一级目录的 base 模块导入 VannaBase 类
from ..exceptions import DependencyError  # 从上一级目录的 exceptions 模块导入 DependencyError 类


class Ollama(VannaBase):  # 定义一个名为 Ollama 的类，继承自 VannaBase
  def __init__(self, config=None):  # 定义类的构造函数，接受一个可选的配置参数 config
    try:
      ollama = __import__("ollama")  # 尝试导入 ollama 模块
    except ImportError:
      raise DependencyError(
        "You need to install required dependencies to execute this method, run command:"
        " \npip install ollama"  # 如果导入失败，抛出 DependencyError 异常，并提示用户安装所需依赖
      )

    if not config:
      raise ValueError("config must contain at least Ollama model")  # 如果没有提供 config，抛出 ValueError 异常
    if 'model' not in config.keys():
      raise ValueError("config must contain at least Ollama model")  # 如果 config 中不包含 'model' 键，抛出 ValueError 异常
    self.host = config.get("ollama_host", "http://localhost:11434")  # 获取 Ollama 主机地址，默认为 "http://localhost:11434"
    self.model = config["model"]  # 获取 Ollama 模型名称
    if ":" not in self.model:
      self.model += ":latest"  # 如果模型名称中不包含 ":"，则添加 ":latest"

    self.ollama_client = ollama.Client(self.host, timeout=Timeout(240.0))  # 创建 Ollama 客户端实例，设置超时时间为 240 秒
    self.keep_alive = config.get('keep_alive', None)  # 获取 keep_alive 配置，默认为 None
    self.ollama_options = config.get('options', {})  # 获取 Ollama 选项配置，默认为空字典
    self.num_ctx = self.ollama_options.get('num_ctx', 2048)  # 获取 num_ctx 配置，默认为 2048
    self.__pull_model_if_ne(self.ollama_client, self.model)  # 调用私有方法 __pull_model_if_ne，检查并拉取模型

  @staticmethod
  def __pull_model_if_ne(ollama_client, model):  # 定义一个静态方法 __pull_model_if_ne，接受 ollama_client 和 model 参数
    model_response = ollama_client.list()  # 获取模型列表
    model_lists = [model_element['model'] for model_element in
                   model_response.get('models', [])]  # 提取模型名称列表
    if model not in model_lists:
      ollama_client.pull(model)  # 如果模型不在列表中，拉取模型

  def system_message(self, message: str) -> any:  # 定义一个方法 system_message，接受一个字符串参数 message
    return {"role": "system", "content": message}  # 返回一个包含角色和内容的字典

  def user_message(self, message: str) -> any:  # 定义一个方法 user_message，接受一个字符串参数 message
    return {"role": "user", "content": message}  # 返回一个包含角色和内容的字典

  def assistant_message(self, message: str) -> any:  # 定义一个方法 assistant_message，接受一个字符串参数 message
    return {"role": "assistant", "content": message}  # 返回一个包含角色和内容的字典

  def extract_sql(self, llm_response):  # 定义一个方法 extract_sql，接受一个字符串参数 llm_response
    """
    提取第一个 SQL 语句，忽略大小写，
    匹配到第一个分号、三个反引号或字符串末尾，
    并移除提取字符串中的三个反引号。

    参数:
    - llm_response (str): 要搜索的字符串。

    返回:
    - str: 提取的第一个 SQL 语句，移除三个反引号，如果没有匹配项，则返回空字符串。
    """
    # 移除 ollama 生成的额外字符
    llm_response = llm_response.replace("\\_", "_")
    llm_response = llm_response.replace("\\", "")

    # 正则表达式查找 ```sql' 并捕获直到 '```'
    sql = re.search(r"```sql\n((.|\n)*?)(?=;|\[|```)", llm_response, re.DOTALL)
    # 正则表达式查找 'select, with (忽略大小写) 并捕获直到 ';', [ (在 mistral 中发生) 或字符串末尾
    select_with = re.search(r'(select|(with.*?as \())(.*?)(?=;|\[|```)',
                            llm_response,
                            re.IGNORECASE | re.DOTALL)
    if sql:
      self.log(
        f"Output from LLM: {llm_response} \nExtracted SQL: {sql.group(1)}")
      return sql.group(1).replace("```", "")
    elif select_with:
      self.log(
        f"Output from LLM: {llm_response} \nExtracted SQL: {select_with.group(0)}")
      return select_with.group(0)
    else:
      return llm_response

  def submit_prompt(self, prompt, **kwargs) -> str:  # 定义一个方法 submit_prompt，接受一个参数 prompt 和其他可选参数
    self.log(
      f"Ollama parameters:\n"
      f"model={self.model},\n"
      f"options={self.ollama_options},\n"
      f"keep_alive={self.keep_alive}")  # 记录 Ollama 参数
    self.log(f"Prompt Content:\n{json.dumps(prompt)}")  # 记录提示内容
    response_dict = self.ollama_client.chat(model=self.model,
                                            messages=prompt,
                                            stream=False,
                                            options=self.ollama_options,
                                            keep_alive=self.keep_alive)  # 调用 Ollama 客户端的 chat 方法，获取响应

    self.log(f"Ollama Response:\n{str(response_dict)}")  # 记录 Ollama 响应

    return response_dict['message']['content']  # 返回响应中的消息内容
代码功能和作用

  1. 导入模块：

    • json 和 re：用于处理 JSON 数据和正则表达式操作。
    • Timeout：用于设置请求超时。
    • VannaBase 和 DependencyError：用于继承基类和处理依赖错误。

  2. 定义 Ollama 类：

    • 继承自 VannaBase，实现了与 Ollama 模型的接口。

  3. 构造函数 __init__：

    • 尝试导入 ollama 模块，如果失败则抛出 DependencyError。
    • 验证 config 参数是否存在并包含必要的键。
    • 初始化 Ollama 客户端和模型参数。
    • 调用私有方法 __pull_model_if_ne 检查并拉取模型。

  4. 静态方法 __pull_model_if_ne：

    • 检查指定模型是否存在，如果不存在则拉取模型。

  5. 消息方法：

    • system_message、user_message 和 assistant_message 方法分别返回带有角色和内容的字典，用于与 Ollama 模型的通信。

  6. extract_sql 方法：

    • 从 LLM 响应中提取 SQL 语句，移除生成的额外字符，并使用正则表达式匹配和提取 SQL 语句。

  7. submit_prompt 方法：

    • 记录请求参数和提示内容，调用 Ollama 客户端的 chat 方法获取响应，并返回响应中的消息内容。
weixin_51192823
关注
使用 Vanna 生成准确的 SQL 查询：工作原理和性能分析
击水三千里的专栏
06-26 475
Vanna 是一个 Python 包，利用检索增强功能通过自然语言问答生成准确的 SQL 查询。本文介绍了 Vanna 的工作原理和如何使用它，以及其性能分析。
Text2SQL之Vanna优化
qq_44193969的博客
06-17 801
前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。提升RAG的效果，能一定程度上提升Text2SQL的效果，剩下的，就看LLM的能力了。
Text-to-SQL 工具Vanna + MySQL本地部署 | 数据库对话机器人
热门推荐
sinat_29950703的博客
03-13 1万+
Vanna 是一个基于 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。它允许用户在数据上训练一个 RAG “模型”，然后提问问题，这将生成在数据库上运行的 SQL 查询语句，并将查询结果通过表格和图表的方式展示给用户。简单的说，Vanna是一个开源的、基于Python的、用于SQL自动生成与相关功能的RAG（检索增强生成）框架。RAG最典型的应用是私有知识库问答。
AI大模型之旅--Vanna的安装与部署
weixin_43866043的博客
08-28 898
根据前章，我们部署了ollama，此章刚好用来测试text2sql -----vanna安装部署。
从零开始本地部署vanna
m0_74787564的博客
08-19 2588
win10以及win11系统部署Vanna AI
Text-to-SQL 工具Vanna进阶|数据库对话机器人的多轮对话
sinat_29950703的博客
03-13 1463
跟数据库对话机器人对话，我可不止一个问题。可能基于第一句问话，还有第二句、第三句问话。。。第N句对话。所以本文测试了多轮对话功能。单轮对话的环境搭建参考博客我的数据是这样。
Vanna-ai 大模型开源项目 基于RAG的TextToSql框架 安装和使用教程
黄笳倞的博客
04-17 2568
您还可以将 SQL 查询添加到训练数据中。如果您已经有一些查询，这将很有用。您只需从编辑器中复制并粘贴这些内容即可开始生成新的 SQL。根据您的用例，您可能需要也可能不需要运行这些命令。有关详细信息，请参阅。根据您的用例，您可能需要也可能不需要运行这些命令。DDL 语句包含有关数据库中的表名、列、数据类型和关系的信息。如果您想在训练后了解它的工作原理，可以尝试这款。有时，您可能希望添加有关业务术语或定义的文档。有关所需数据库、LLM 等的详细信息，请参阅。显示这些陈述是为了让您了解它的工作原理。
vanna：基于RAG的text2sql框架
beingstrong的博客
03-16 3923
基于RAG的SQL生成(text2sql)开源python框架vanna使用简介和原理探索
LLMs之Text2Sql之Vanna：Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-19 7481
​ LLMs之Vanna：Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略 目录 Vanna的简介 Vanna的安装和使用方法 Vanna的应用案例 Vanna的简介 Vanna是一个基于MIT许可的开源Python RAG（检索增强生成）框架，用于SQL生成和相关功能。 Vanna的工作原理分为两个简单步骤：在您的数据上训练一个RAG“模型”，然后提问问题，这将返回可以设置自动在您的数据库上运行的SQL查询。 >> 在您的数
Vanna使用ollama分析本地数据库
Baker的博客
06-05 2005
这节一起用Vanna来实现自然语言转SQL，之前的大模型一直停留在问答阶段，答案基本都是大模型提供的，至多是加点本地知识库，text，pdf等文档，丰富大模型的内容，但是想要大模型与一些管理系统对接还是无能为力，这节就一起尝试下用Vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。这也是很多管理系统的开...
ubantu部署vanna
最新发布
10-29
在Ubuntu上部署VANNA（Visual Analytics and Neural Network Accelerator）通常涉及几个步骤： 1. **安装基础环境**： 首先，确保您的Ubuntu系统已经更新到最新版本，并安装必要的依赖项，如Git、Python（及其pip...
VannaAI 介绍及使用 - 第二篇
Davis_Liyf的博客
07-10 2289
以上是在本地初步体验Vanna的几种方式，根据个人情况可以去一一尝试。Vanna还提供了个性化的配置，比如不同的向量数据库，LLM大模型以及不同的数据库。我将在第三篇内容中，用案例去展示如何个性化的配置Vanna，体验不同大模型进行问题回答。
TEXT2SQL工具vanna本地化安装和应用
wengad的博客
05-10 5581
在待连接的mysql数据库的，demodb数据库中新建表和记录，当然可以在不同数据库里面创建表，并插入不同的数据，根据实际情况可以调整SQL，并调整后续步骤的python代码中连接数据库的内容。这里的脚本chroma使用的local的模型，运行了以下脚本后，会在运行的目录下生成chroma.sqlite3文件，存放训练的数据，别删了，删了那训练数据就没了，要重新来。这里使用的是centos7 ，并有一块11G显存的GeForce GTX 1080 Ti，本文编制的时候，使用的是vanna 0.5.4版本。
vanna学习日志（四）
weixin_51192823的博客
06-13 1913
vanna可实现自然语言转SQL，尝试本地部署vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。本文先对vanna源码进行分析，该部分内容为接入各类ai方法。
Vanna-ai -基于RAG的TextToSql实现方案
wangning0714的博客
03-05 2915
基于大模型的TextToSql的关键为给大模型提供正确有效的数据库信息及问题，以提升大模型生成sql的正确率。这是面临的主要问题：如何在有效的prompt长度限制之内传递给大模型有效的信息辅助生成sql？简而言之，这些模型是在大量数据（包括一堆在线可用的 SQL 查询）上进行训练的，并通过预测响应提示中最有可能的下一个单词或“标记”来工作。Vanna 正在使用和试验许多不同的LLM，以获得最准确的结果。随着时间的推移，Vanna 不断提高对您的模式的理解，并正确回答越来越多的问题。
vanna学习日志（五）
weixin_51192823的博客
06-17 2028
vanna可实现自然语言转SQL，尝试本地部署vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。本文先对vanna源码进行分析，该部分内容为接入各类ai方法。import json # 导入 JSON 模块，用于处理 JSON 数据from typing import List # 导入 List 类型提示from pinecone import Pinecone, PodSpec, ServerlessSpec # 从 pinecone 库导入 Pinecone 客户端和规格类。
【大模型系列篇】Vanna-ai基于检索增强(RAG)的sql生成框架
木亦汐丫
07-30 1593
Vanna 使用一种称为 LLM（大型语言模型）的生成式人工智能。简而言之，这些模型是在大量数据（包括一堆在线可用的 SQL 查询）上进行训练的，并通过预测响应提示中最有可能的下一个单词或“标记”来工作。Vanna 优化了提示（通过向量数据库使用嵌入搜索）并微调 LLM 模型以生成更好的 SQL。Vanna 可以使用和试验许多不同的LLM，以获得最准确的结果。
vanna学习日志（二）
weixin_51192823的博客
06-11 553
vanna可实现自然语言转SQL，尝试本地部署vanna对接数据库，将自然语言转成标准的SQL对数据库进行查询。本文先对vanna源码进行分析。
不写一行SQL也能让数据说话！如何用Vanna框架轻松解锁数据分析的未来？
李孟的博客
04-02 397
想象一下，不管你是开发者还是分析师，都能用Vanna来发现数据的秘密。如果你需要更多，这里有无限制的使用，GPT-4的支持，还有服务保障。这是一款开源的工具，帮你生成SQL，让数据自己说话。你可以用它来集成任何你喜欢的语言模型，完全自定义。用GPT 3.5，你可以不花一分钱就开始探索数据。那么，我们一起看下Vanna的工作原理和实现细节。这里有日限额的模型使用，还有免费的存储服务。Vanna有三种模式，适应不同的需求。就像自己搭积木，想怎么玩就怎么玩。内容迁移微信公众号：李孟聊AI。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值