utunbu部署db-gpt

先看看显卡信息

nvidia-smi

安装conda

pytorch

创建虚拟环境

下载git-lfs

下载git-lfs，为了大模型的传输

apt-get install git-lfs

初始化

git lfs install

 克隆代码

git clone https://github.com/eosphoros-ai/DB-GPT.git

 编辑模式安装set.py中的依赖

cd DB-GPT中
pip install -e ".[default]"

配置.env文件

cd /DB-GPT
cp .env.template .env

可以在.env中配置基本参数，例如将LLM_MODEL设置为要使用的模型，LLM_MODEL官方推荐使用vicuna-13b-v1.5。这里我使用的是chatglm2-6b

运行DB-GPT

运行db-gpt服务端

python pilot/server/llmserver.py

运行客户端

python pilot/server/dbgpt_server.py

客户端运行成功图，端口5000

 http://172.20.25.207:5670/访问

如果想使用其他大模型，可以在DB-GPT/models中下载大模型。，然后修改指向大模型的文件即可

还有一处需要修改

加上你的大模型

除了db-gppt。还有langchain-chatchat、qwen、ollama+open webui等大模型平台