DB-GPT部署验证

最新推荐文章于 2024-05-20 11:28:37 发布
最新推荐文章于 2024-05-20 11:28:37 发布
阅读量1.2k 收藏 15
点赞数 17
文章标签： 数据库 gpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snipercai/article/details/134941899
版权

一、DB-GPT简介

        DB-GPT是一个开源的数据库领域大模型框架。目的是构建大模型领域的基础设施，通过开发多模型管理、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。

        GITHUB源码地址：GitHub - eosphoros-ai/DB-GPT: Revolutionizing Database Interactions with Private LLM TechnologyRevolutionizing Database Interactions with Private LLM Technology - GitHub - eosphoros-ai/DB-GPT: Revolutionizing Database Interactions with Private LLM Technologyicon-default.png?t=N7T8https://github.com/eosphoros-ai/DB-GPT.git

1、名词术语

名词

说明

DB-GPT

DataBase Generative Pre-trained Transformer，一个围绕数据库与大模型的开源框架

Text2SQL/NL2SQL

Text to SQL，利用大语言模型能力，根据自然语言生成SQL语句，或者根据SQL语句给出解释说明

KBQA

Knowledge-Based Q&A 基于知识库的问答系统

GBI

Generative Business Intelligence 生成式商业智能，基于大模型与数据分析，通过对话方式提供商业智能分析与决策

LLMOps

大语言模型操作框架，提供标准的端到端工作流程，用于训练、调整、部署和监控LLM，以加速生成AI模型的应用程序部署

Embedding

将文本、音频、视频等资料转换为向量的方法

RAG

Retrieval-Augmented Generation 检索能力增强

2、系统架构

Model Controller：

Model Worker：

Web Server：

API Server：

3、环境要求

二、源码部署

1、环境要求

启动模式

CPU * MEM

GPU

备注

代理模型

4C*8G

代理模型不依赖GPU

本地模型

8C*32G

24G

本地启动最好有24G以上GPU

2、源码下载

        可以在Github上下载最新版本：https://github.com/eosphoros-ai/DB-GPT/releases

wget https://github.com/eosphoros-ai/DB-GPT/archive/refs/tags/v0.4.3.tar.gz

3、Miniconda安装

        Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。

        Miniconda 安装包可以到清华站下载：Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source MirrorIndex of /anaconda/miniconda/ | 清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

        也可以在miniconda官网下载最新安装包：Miniconda — miniconda documentation

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh
~/miniconda3/bin/conda init bash
source ~/.bashrc

 4、配置国内conda源

        各系统都可以通过修改用户目录下的 .condarc 文件来使用清华镜像源        

conda config --set show_channel_urls yes

        修改~/.condarc的配置文件

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

         清华源帮助文档地址：anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirroranaconda 使用帮助 | 镜像站使用帮助 | 清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/        也可以选择其他国内源

# 中科大镜像源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/
 
# 阿里镜像源
conda config --add channels https://mirrors.aliyun.com/pypi/simple/
 
# 豆瓣的python的源
conda config --add channels http://pypi.douban.com/simple/ 
 
# 显示检索路径，每次安装包时会将包源路径显示出来
conda config --set show_channel_urls yes
conda config --set always_yes True
conda config --set auto_activate_base False
 
#执行以下命令清除索引缓存，保证用的是镜像站提供的索引
conda clean -i
 
# 显示所有镜像通道路径命令
conda config --show channels

5、创建Python环境

        因为编译源码需要python >= 3.10，所以使用conda创建python环境

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env

6、配置国内pip源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

        或修改pip配置文件，如 vi /root/.config/pip/pip.conf

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

        其他国内源：

        阿里云：https://mirrors.aliyun.com/pypi/simple/

7、编译源码

tar -zxf v0.4.3.tar.gz
cd DB-GPT-0.4.3
pip install -e ".[default]"

         编译时间较长，知道提示编译成功

三、模型部署

        直接是用git下载huggingface.co开源网站的模型文件会使用到git-lfs，需要提前安装。

apt-get install git-lfs

        在DB-GPT目录下创建models目录，用于存放下载的本地模型文件

cd DB-GPT-0.4.3
mkdir models

1、下载embedding model

1.1 text2vec-large-chinese

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

1.2 m3e-large

git clone https://huggingface.co/moka-ai/m3e-large

2、下载llm model

2.1 Vicuna

2.1.1 硬件需求说明
ModelQuantizeVRAM Size
Vicuna-7b-1.54-bit8GB
Vicuna-7b-1.58-bit12GB
vicuna-13b-v1.54-bit12GB
vicuna-13b-v1.58-bit24GB
2.1.2 下载地址
git clone https://huggingface.co/lmsys/vicuna-13b-v1.5
2.1.3 环境变量配置

        在 .env 文件中配置LLM_MODEL参数

LLM_MODEL=vicuna-13b-v1.5

2.2 ChatGLM2

 2.1.1 硬件需求说明
ModelQuantizeVRAM Size
ChatGLM-6b4-bit7GB
ChatGLM-6b8-bit9GB
ChatGLM-6bFP1614GB
2.1.2 下载地址
git clone https://huggingface.co/THUDM/chatglm2-6b
2.1.3 环境变量配置

        在 .env 文件中配置LLM_MODEL参数

LLM_MODEL=chatglm2-6b

2.3 llama.cpp(CPU运行)

2.3.1 直接下载

        下载已经转换好的文件TheBloke/vicuna-13B-v1.5-GGUF，将模型重命名为: ggml-model-q4_0.gguf，存放在models目录

git clone https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF
 2.3.2 手工转换

        自行转换模型文件，将模型重命名为: ggml-model-q4_0.gguf，存放在models目录

# obtain the original LLaMA model weights and place them in ./models
ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model
  # [Optional] for models using BPE tokenizers
  ls ./models
  65B 30B 13B 7B vocab.json

# install Python dependencies
python3 -m pip install -r requirements.txt

# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/

  # [Optional] for models using BPE tokenizers
  python convert.py models/7B/ --vocabtype bpe

# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0

# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY


# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128
2.3.3 安装依赖

        llama.cpp在DB-GPT中是可选安装项, 你可以通过以下命令进行安装

pip install -e ".[llama_cpp]"
2.3.4 环境变量修改

        修改.env文件使用llama.cpp

LLM_MODEL=llama-cpp
llama_cpp_prompt_template=vicuna_v1.1

四、数据库部署

1、安装Mysql

# 更新apt源
apt update
#下载mysql-server
apt install mysql-server
#查看mysql的状态，开启mysql
service mysql status
service mysql start

#进入mysql终端
mysql
#设置root密码，注意这里的密码应该和DB-GPT中的.env文件保持一致
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'Mysql2023';
#登录mysql，这里会提示输入密码，可以查看自己密码创建是否正确
mysql -u root -p

2、数据库配置

        修改.env文件中数据库的配置

#*******************************************************************#
#**                  DB-GPT METADATA DATABASE SETTINGS            **#
#*******************************************************************#
### SQLite database (Current default database)
#LOCAL_DB_TYPE=sqlite

### MYSQL database
LOCAL_DB_TYPE=mysql
LOCAL_DB_USER=root
LOCAL_DB_PASSWORD={your_password}
LOCAL_DB_HOST=127.0.0.1
LOCAL_DB_PORT=3306
LOCAL_DB_NAME=dbgpt

3、测试数据

bash ./scripts/examples/load_examples.sh

五、运行服务

1、整体启动

        通过命令一键启动整个DB-GPT服务

python dbgpt/app/dbgpt_server.py

2、分服务启动

2.1 启动Model Controller

        Model Server默认端口为8000

dbgpt start controller

        启动成功如下： 

2.2 启动Model Worker

2.2.1 启动chatglm2-6b模型Worker
dbgpt start worker --model_name chatglm2-6b \
--model_path /DB-GPT-0.4.3/models/chatglm2-6b \
--port 8001 \
--controller_addr http://127.0.0.1:8000

  如果报错 'ChatGLMTokenizer' object has no attribute 'tokenizer'，则需要降级transformers，存在问题的版本为4.36.0，改为4.33.3

pip uninstall transformers
pip install transformers==4.33.3
2.2.2 启动vicuna-13b-v1.5模型Worker
dbgpt start worker --model_name vicuna-13b-v1.5 \
--model_path /DB-GPT-0.4.3/models/vicuna-13b-v1.5 \
--port 8002 \
--controller_addr http://127.0.0.1:8000

2.3 启动Embedding模型服务

dbgpt start worker --model_name text2vec \
--model_path /DB-GPT-0.4.3/models/text2vec-large-chinese \
--worker_type text2vec \
--port 8003 \
--controller_addr http://127.0.0.1:8000

2.4 查看并检查已部署模型

dbgpt model list

        显示当前运行的模型信息如下

2.5 启动Web Server服务

        --light 表示不启动嵌入式模型服务，嵌入式模型服务默认为

dbgpt start webserver --light

2.6 浏览页面

        使用浏览器访问页面http://localhost:5000/

2.7 查看显存使用

nvidia-smi

        显示显卡使用信息如下：

         

snipercai
关注
  • 17
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
db-gpt安装指南（docker版本）
Learning
08-24 3715
使用docker部署db-gpt指南
DB-GPT数据库大语言模型
08-17
DB-GPT数据库大语言模型 DB-GPT数据库大语言模型 DB-GPT数据库大语言模型 DB-GPT数据库大语言模型
DB-GPT
whaosoft143ai的博客
01-07 820
在过去的六个月里，DB-GPT 项目的代码已经从最初提交第一行代码到当前版本 0.4.4，随着项目功能的精细打磨和版本的持续迭代，项目团队也随之发布了一篇关于 DB-GPT 的研究论文，该论文详细介绍了项目的核心技术，包括 RAG、多模型管理框架 SMMF、Text2SQL 的自动化微调以及基于数据驱动的 Multi-Agents 等关键特性的实现架构和实验对比。在 DB-GPT 框架中，为了精简模型的适配流程，提升运作效率，并优化模型部署的性能表现，提出面向服务的多模型框架（SMMF）。whaosoft
DB-GPT安装部署使用初体验
leehoward
03-25 2118
参考源码部署注：如本地部署大模型，可离线下载后放置DB-GPT/models目录下。考虑大家资源有限，此处介绍代理模式安装。代理模式即各大大模型厂商提供的API接口，有免费的、限免的、付费的，大家酌情选择。阿里系： https://dashscope.console.aliyun.com/billing科大讯飞：星火大模型，官网领取额度结论：通义千问qwen-turbo模型效果稍好点。有条件的可以上chat-gpt和智谱AI，效果更好。
ChatGPT 基于Dify 构建ai客服详细教程（git-docker-dify-gpt）
yyklbfh的博客
04-22 1275
复制包括 3 个业务服务 api / worker / web，以及 4 个基础组件 weaviate / db / redis / nginx。复制。
使用kolla-ansible部署Ceph集群
boxrice007的博客
01-14 1249
目前kolla官方最新的版本已经废弃ceph的部署，不过之前的Kolla版本还是支持。最后一个版本支持部署ceph的为Openstack-Train。那就使用T版本的ceph镜像进行部署。 本次部署的ceph使用bluestore类型的存储。关于filestore和bluestore的区别，就在于写到磁盘的次数，filestore有journal存储，每次数据先写到此磁盘中，然后再写到数据库，并且还有文件系统 ，所以此方式对于连续写的集群平说，性能不挂。使用bluestore后，数据直接落盘，不存在写入到文
DB-GPT DB-GPT.zip
06-16
DB-GPT.zip
image-gpt:OpenAI图像GPT的PyTorch实现
04-13
图片GPT 图像GPT的PyTorch实施基于像素的纸张生成式预训练和随附的。 模型生成的来自测试集的半图像的完成。 输入第一列； 最后一栏是原始图片 iGPT-S已在CIFAR10上进行了预培训。 由于该模型仅在CIFAR10而非所有...
数据交互的本地化GPT模型：DB-GPT
02-08
它使用本地化的GPT大型模型与数据和环境进行交互。使用此解决方案，您可以放心，没有数据泄露的风险，您的数据是100%私密...DB-GPT旨在提供用户与模型的交互，而不必依赖外部服务器或云服务，确保数据的隐私和安全性。
keras-gpt-2：加载GPT-2检查点并生成文本
02-03
凯拉斯GPT-2 [| ] 加载预训练的权重并使用预测。 安装 pip install keras-gpt-2 演示版 import os from keras_gpt_2 import load_trained_model_from_checkpoint , get_bpe_from_files , generate model_folder = ...
mysql事务(原理)
m0_74347016的博客
05-19 524
mysql事务原理
生产报表工具PI DataLInk 与 行列视之间的区别
2401_83701843的博客
05-17 250
行列视，全名“行列视生产数据应用系统”，行列视品牌所面对的业务范围远远超越了PIDatalink报表工具，他首先是一款本地部署的在线Excel文档管理系统，解决个人报表在线管理问题，其次，她和PIDataLInk一样，也是面向实时数据库报表需求的一套工具，其区别在于行列视品牌兼容国内外大多数实时数据库，也可以同时连接多个数据源，也就是她完全可以替代PI-DataLINk，同时也适用于其他品牌下的实时数据库系统；
MySQL存储过程添加二十万条数据日常练习
mi_mx的博客
05-17 305
【代码】MySQL日常练习。
在window用bat批处理制作mongodb本地启动文件
weixin_50367873的博客
05-17 602
bat文件是dos下的批处理文件。批处理文件是无格式的文本文件，它包含一条或多条命令。它的文件扩展名- 为 .bat 或 .cmd。在命令提示下输入批处理文件的名称，或者双击该批处理文件，系统就会调用cmd.exe按照该文件中各个命令出现的顺序来逐个运行它们。使用批处理文件（也被称为批处理程序或脚本），可以简化日常或重复性任务。
Postgresql源码（130）ExecInterpExpr转换为IR的流程
InternalsOf
05-17 1290
ExecInterpExpr转换为IR的流程
CentOS8+MySQL8.0.26+Skywalking9.7.0数据清理机制
xiaozhanfeng的博客
05-15 794
#### 代码中定义的额外模型列，这些模型列在聚合或查询时不需要，会加重负载。但激活后，用户可以看到名称，更容易自行查询数据。##### 1级聚合到2级聚合的刷新时间，默认500毫秒。##### TOPN记录报告周期，默认10分钟。##### 执行数据持久化周期，默认25秒。##### 数据清理定时器，默认5分钟。##### 明细记录有效期，默认3天。##### 监测数据有效期，默认7天。##### 会话时间阈值，默认70秒。##### 数据清理开关，默认开启。
国产化信息技术基础设施构建方案
最新发布
雨笋情缘的专栏
05-20 205
随着信息技术国产化的趋势日益增强，为保障信息安全与自主可控，本方案旨在通过全面调研与科学评估，实现操作系统及基础软件的国产替代。本方案将聚焦于国产操作系统的调研与选择，以及数据库、中间件等基础软件的国产化替代方案，确保技术体系的高效稳定运行与持续发展。本方案旨在通过系统性的调研与评估，实现信息技术基础设施的国产化升级，提升系统的安全性与自主可控能力。未来，随着国产软硬件生态的不断成熟，将进一步优化技术栈，促进技术创新与产业升级，为企业的可持续发展奠定坚实的基础。兼容性：对常用应用软件、硬件设备的支持情况。
Service Worker的生命周期和全局对象和API
SaRAku的博客
05-14 815
当我们注册了Service Worker后，它会经历生命周期的各个阶段，同时会触发相应的事件。整个生命周期包括了：installing --> installed --> activating --> activated --> redundant。当Service Worker安装（installed）完毕后，会触发install事件；而激活（activated）后，则会触发activate事件。serviceWorker中，进程的全局对象（类似于window）叫做。
Cerebras-GPT-13B 本地部署需要配置资源
05-27
Cerebras-GPT-13B 模型是一个非常大的模型，需要进行大量的计算和存储资源配置才能够在本地进行部署。 1. 计算资源：Cerebras-GPT-13B 模型需要进行大量的计算，因此需要配备高性能的计算设备，例如GPU或者TPU。同时，还需要使用高效的并行计算框架来管理计算资源，例如TensorFlow或者PyTorch。 2. 存储资源：Cerebras-GPT-13B 模型需要大量的存储空间来存储模型参数和训练数据。因此，需要配备高容量、高速度的存储设备，例如SSD或者NVMe。 3. 网络资源：Cerebras-GPT-13B 模型需要进行大量的网络传输，因此需要配备高速、低延迟的网络设备，例如千兆以太网或者光纤网络。 同时，为了保证部署的效果和性能，还需要进行一些其他的配置，例如调整GPU内存大小、设置环境变量等。 需要注意的是，Cerebras-GPT-13B 模型的本地部署需要专业的技术和经验，并且需要进行大量的资源配置。因此，建议由专业人员来完成，以保证部署的效果和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

snipercai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值