DBGPT安装部署使用

简介

DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。

目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。

源码下载

DB-GPT-tag-v0.6.2.zip资源-CSDN文库

Git地址

git clone https://github.com/eosphoros-ai/DB-GPT.git

Miniconda环境安装

python >= 3.10

conda create -n dbgpt_env python=3.10

conda activate dbgpt_env

# it will take some minutes

pip install -e ".[default]"

cp .env.template  .env

代理模型

安装依赖

pip install  -e ".[openai]"

下载Embedding 模型

新建models目录

cd DB-GPT

mkdir models and cd models

#### embedding model

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

或者

git clone 魔搭社区

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

配置代理,在.env文件中修改LLM_MODEL, PROXY_API_URL and API_KEY

LLM_MODEL=chatgpt_proxyllm

PROXY_API_KEY={your-openai-sk}

PROXY_SERVER_URL=https://api.openai.com/v1/chat/completions

# If you use gpt-4

# PROXYLLM_BACKEND=gpt-4

测试数据

Linux&Unix平台

bash ./scripts/examples/load_examples.sh

Windows平台

.\scripts\examples\load_examples.bat

运行服务

python dbgpt/app/dbgpt_server.py

页面地址

http://localhost:5670

对话

探索广场

支持数据对话、数据库对话、Excel对话、知识库对话、报表分析、正常对话等。

应用管理

这里配置一个startrocks数据源来问一些问题

创建数据库对话

这个功能并不会执行sql语句,这里的数据是大模型自己造的,数据对话是支持查询真实数据。

创建数据对话

创建Excel对话

在之前的沟通中,无论如何提问都出现报错情况。不过,后续重新开启新的对话后,相关内容能够正确展示。

DashBoard

AWEL工作流

AWEL编排Agent,工作流编排功能,后续有机会在详细使用下

### 如何使用dbgpt框架部署DeepSeek模型 #### 安装依赖库 为了能够顺利运行调试并部署DeepSeek大模型,需要先安装`dbgpt`框架及其所需的其他Python包。这通常涉及到设置虚拟环境来隔离项目依赖关系。 ```bash pip install virtualenv virtualenv venv_dbgpt source venv_dbgpt/bin/activate # 对于Windows系统应使用 `venv_dbgpt\Scripts\activate` pip install -r requirements.txt ``` 其中`requirements.txt`文件包含了所有必要的软件包列表[^1]。 #### 下载预训练模型权重 获取由官方发布的DeepSeek模型参数文件对于后续加载至关重要。这些资源可以从公开的数据集托管平台下载获得。 ```python from dbgpt import model_loader model_path = "path/to/deepseek/model" if not os.path.exists(model_path): model_loader.download_pretrained_model('deepseek', save_dir=model_path) ``` 这段代码展示了如何利用`dbgpt.model_loader`模块中的功能去检查本地是否存在指定路径下的模型;如果不存在,则会调用API接口完成远程拉取操作[^2]。 #### 加载与初始化模型实例 一旦获得了正确的模型结构定义以及对应的权重数据之后,就可以创建具体的模型对象来进行推理或其他任务处理了。 ```python import torch from dbgpt.models.deepseek import DeepSeekModel device = 'cuda' if torch.cuda.is_available() else 'cpu' model = DeepSeekModel.from_pretrained(model_path).to(device) # 设置评估模式 model.eval() ``` 这里通过PyTorch框架实现了设备检测逻辑,并确保所构建的神经网络能够在GPU上高效执行计算过程。 #### 构建Web界面交互服务 为了让用户更便捷地访问到已部署好的DeepSeek模型所提供的能力,可以通过集成FastAPI这样的轻量级RESTful API服务器框架搭建起前后端分离式的应用程序架构。 ```python from fastapi import FastAPI, Request from pydantic import BaseModel app = FastAPI() class Query(BaseModel): text: str @app.post("/predict/") async def predict(request: Request, query:Query ): input_text=query.text with torch.no_grad(): output = model.generate(input_ids=torch.tensor([tokenizer.encode(input_text)]).to(device)) response={"result": tokenizer.decode(output[0], skip_special_tokens=True)} return JSONResponse(content=response) ``` 上述脚本片段描述了一种基于HTTP POST请求的方式接收客户端提交的问题串作为输入,经过编码转换成适合送入Transformer类别的深层学习算法内部表示形式后得到预测结果再返回给前端展示。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码先觉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值