部署DB-GPT

最新推荐文章于 2024-06-25 16:24:29 发布
最新推荐文章于 2024-06-25 16:24:29 发布
阅读量2.8k 收藏 11
点赞数 3
分类专栏： text2sql 文章标签： gpt text2sql 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44076848/article/details/133914323
版权

踩坑

参考文献

https://zhuanlan.zhihu.com/p/629467580
https://blog.csdn.net/qq_40231723/article/details/133956318

安装环境与模型运行

安装conda环境

首先我们需要安装conda环境，我们使用miniconda3

wget https://repo.anaconda.com/miniconda/Miniconda3-py310_23.3.1-0-Linux-x86_64.sh
sh Miniconda3-py310_23.3.1-0-Linux-x86_64.sh

安装完成之后，需要生效一下环境变量

source /root/.bashrc

conda create -n dbgpt_env python=3.10 
conda activate dbgpt_env

下载git-lfs

下载git-lfs，为了大模型的传输

apt-get install git-lfs

初始化

git lfs install

克隆源码

git clone https://github.com/eosphoros-ai/DB-GPT.git

下载大模型到models目录（huggingface无法访问，使用该镜像网站）

git clone https://www.modelscope.cn/thomas/text2vec-large-chinese.git

git clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git

配置.env文件

cd /home/DB-GPT
cp .env.template .env

可以在.env中配置基本参数，例如将LLM_MODEL设置为要使用的模型，LLM_MODEL官方推荐使用vicuna-13b-v1.5。这里我使用的是chatglm2-6b

在这里插入图片描述

加载SQLite的数据

bash ./scripts/examples/load_examples.sh

运行DB-GPT

运行db-gpt服务端

python pilot/server/llmserver.py

服务端运行成功图
在这里插入图片描述

运行客户端

python pilot/server/dbgpt_server.py

客户端运行成功图，端口5000
在这里插入图片描述

浏览器访问
在这里插入图片描述

配置sqlite数据库

点击左侧Data Center，再点击sqlite，修改Path
在这里插入图片描述

数据库示例

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
问题1：用中文提问，模型翻译的单词与数据库列名不一致
在这里插入图片描述
可见模型把学分翻译为score，而不是credit，导致报错
解决思路：涉及到的表名和列名，用英文输入
在这里插入图片描述
问题2：查询总分最高的学生
在这里插入图片描述
在这里插入图片描述

pydantic版本问题

报错信息：pydantic.errors.PydanticUserError: If you use @root_validator with pre=False (the default) you MUST specify skip_on_failure=True. Note that @root_validator is deprecated and should be replaced with @model_validator.

解决：卸载该版本，下载旧版本

pip uninstall pydantic

pip install pydantic==1.10.5

bash报错

在这里插入图片描述
原因：linux系统换行符出现问题
解决：sed -i 's/\r//g' xxx.sh

generous~
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
DB-GPT DB-GPT.zip
06-16
DB-GPT.zip
DB-GPT数据库大语言模型
08-17
DB-GPT数据库大语言模型是近年来在人工智能领域中一个创新性的技术成果，它结合了数据库技术和大语言模型的优势，旨在提升数据库查询效率、理解和生成能力。这个模型的主要目标是理解和生成与数据库相关的复杂查询，...
DB-GPT 保姆级安装教程
weixin_43907339的博客
01-31 1993
如果启动 Qwen-14B-Chat-Int4 模型 还需要在DB-GPT/models/Qwen-14B-Chat-Int4/config.json这配置。环境变量配置, 配置LLM_MODEL参数在 `.env` 文件中。可能会报错 是有包没有安装 安装即可 希望能帮到大家。
AI大模型探索之路-实战篇4：深入DB-GPT数据应用开发框架调研
寻道码路，探索编程之路的无限可能。
05-24 5479
在当今的人工智能时代，大模型技术的迅猛发展为各行各业带来了前所未有的变革。这些大模型，以其强大的语言理解和生成能力，正在逐步成为智能化应用的核心。然而，如何高效地利用这些大模型，构建出满足各种需求的应用，仍然是一个具有挑战性的问题。DB-GPT，作为一个开源的AI原生数据应用开发框架，应运而生，旨在简化大模型应用的开发过程，让构建智能化应用变得触手可及。本文将深入介绍DB-GPT的核心功能、关键特性，并通过实战操作，展示如何利用DB-GPT进行数据应用开发。DB-GPT是一个开源的AI原生数据应用开发框架。
DB-GPT数据库GPT,支持本地部署,可以在私有环境中运行!!
热门推荐
向彪-区块链技术研究
06-01 1万+
随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。基于此，我们发起了DB-GPT项目，为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。
DB-GPT 本地部署数据分析场景
Nile的专栏
06-04 1053
我这里用的yi api。
DB-GPT大模型私有化部署搭建
是我的温柔啊
12-12 2857
随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。基于此，我们发起了DB-GPT项目，为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。我们的愿景是让围绕数据库构建大模型应用更简单，更方便。
DB-GPT介绍
weixin_44076848的博客
11-04 3819
DB-GPT项目（项目地址）是在github上发布的，为解决使用大模型和数据库交互的过程中，私密数据以及环境是否能掌握自己的手里，完全自主可控的问题。项目支持为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。
DB-GPT介绍及代码实践
永胜的博客
09-03 6145
请按照以下步骤安装DB-GPT。
DB-GPT：强强联合Langchain-Vicuna的应用实战开源项目，彻底改变与数据库的交互方式
penriver的博客
07-25 4752
DB-GPT是一个实验性的开源项目，它使用本地化的GPT大型模型与数据和环境进行交互。使用此解决方案，没有数据泄露的风险，数据是100%私密和安全的。 DB-GPT使用FastChat创建了一个庞大的模型操作系统，并提供了一个由Vicuna驱动的大型语言模型。此外，还提供了私有领域知识库问答功能、对其他插件的支持、支持Auto-GPT插件。 DB-GPT愿景是使围绕数据库和llm构建应用程序变得更容易、更方便。
DB-GPT容器化部署流程
qq_27844739的博客
06-01 3203
DB-GPT 是一个开源的以数据库为基础的GPT实验项目，本人使用容器化的方式部署成功，本文对本地化部署DB-GPT的过程进行梳理。
DB-GPT 初体验chat data
weixin_42567071的博客
11-10 1104
随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里，完全可控，避免任何的数据隐私泄露以及安全风险。基于此，我们发起了DB-GPT项目，为所有以数据库为基础的场景，构建一套完整的私有大模型解决方案。此方案因为支持本地部署，所以不仅仅可以应用于独立私有环境，而且还可以根据业务模块独立部署隔离，让大模型的能力绝对私有、安全、可控。
数据交互的本地化GPT模型：DB-GPT
02-08
它使用本地化的GPT大型模型与数据和环境进行交互。使用此解决方案，您可以放心，没有数据泄露的风险，您的数据是100%私密...DB-GPT旨在提供用户与模型的交互，而不必依赖外部服务器或云服务，确保数据的隐私和安全性。
包含用于DB-GPT的模型、数据集和微调技术的存储库，其目的是增强Text-to-SQL中的模型性能
02-06
"DB-GPT-Hub_main.zip"可能是模型源代码、预训练模型的权重或其他相关资源的压缩包，解压后用户可以按照说明进行操作。 总的来说，这个存储库为Text-to-SQL的研究和开发提供了一站式解决方案，包括强大的模型、丰富...
聊天机器人:llama-gpt
10-10
至于压缩包中的“llama-gpt-master”文件，这通常表示这是项目的源代码仓库，包含了所有必要的文件和资源，如代码、配置文件、文档等。用户可以下载这个压缩包，然后按照提供的指南进行编译和部署，从而在自己的环境...
DB-GPT部署验证
snipercai的博客
04-30 2059
DB-GPT是一个开源的数据库领域大模型框架。
dbgpt部署教程，纯小白教程
qqnbsp的博客
03-26 1095
2.1 先启动python3.10环境。1.打开git下载zip文件。2.3 设置配置文件。
DB-GPT、ChatGLM3-6B全精度部署
m0_52496509的博客
03-14 978
DB-GPT、ChatGLM3-6B全精度部署
LLM大模型实战 —— DB-GPT阿里云部署指南
最新发布
2301_81940605的博客
06-25 1396
DB-GPT 是一个实验性的开源应用，它基于FastChat，并使用vicuna-13b作为基础模型, 模型与数据全部本地化部署, 绝对保障数据的隐私安全。
docker部署chatbot-gpt2
05-19
要在Docker中部署一个Chatbot GPT-2，您需要按照以下步骤操作： 1. 首先，您需要安装Docker和Docker Compose。您可以在官方网站上找到有关如何安装这些工具的文档。 2. 接下来，您需要下载Chatbot GPT-2代码并将其放置在一个文件夹中。您可以从GitHub或其他来源获取该代码。 3. 在该文件夹中，您需要创建一个名为“ Dockerfile”的文件，并将以下内容复制到该文件中： ``` FROM tensorflow/tensorflow:latest-gpu-py3 RUN apt-get update && apt-get install -y git RUN git clone https://github.com/huggingface/transformers.git && \ cd transformers && git checkout v3.0.2 && \ pip install . RUN git clone https://github.com/microsoft/DialoGPT.git && \ cd DialoGPT && git checkout v1.0 && \ pip install -r requirements.txt WORKDIR /app COPY . . CMD ["python", "main.py"] ``` 这个Dockerfile使用最新的TensorFlow GPU映像，安装了必要的软件包和依赖项，然后将应用程序代码复制到容器中并启动主程序。 4. 接下来，您需要创建一个名为“ docker-compose.yml”的文件，并将以下内容复制到该文件中： ``` version: '3' services: chatbot: build: . expose: - 5000 ports: - 5000:5000 environment: - GPU=1 ``` 这个docker-compose文件定义了一个服务，使用刚才创建的Dockerfile进行构建。它将端口5000暴露给主机，并将容器端口5000映射到主机端口5000。它还设置了一个名为GPU的环境变量，以便容器可以使用GPU。 5. 现在您可以运行以下命令来构建和启动Chatbot GPT-2容器： ``` docker-compose build docker-compose up -d ``` 第一条命令将构建容器，而第二条命令将启动容器并在后台运行。现在，您可以访问http://localhost:5000来与Chatbot GPT-2进行交互。 希望这可以帮助您部署Chatbot GPT-2容器。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值