环境准备
必须使用能暴露地址的服务云
如果不能就会显示
源码下载
git clone https://github.com/eosphoros-ai/DB-GPT.git
Miniconda环境安装
#export http_proxy=http://172.16.254.2:10800 && export
https_proxy=http://172.16.254.2:10800
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p /home/user/netdisk/MinniConda3
vim ~/.bashrc
export PATH="/home/user/netdisk/data/Minionda3/bin:$PATH"
# 刷新
source ~/.bashrc
conda init
conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
conda install -c conda-forge util-linux
# it will take some minutes
pip install -e ".[default]"
cd DB-GPT
cp .env.template .env
本地模型
mkdir models and cd models
#### embedding model
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
或者
git clone https://huggingface.co/moka-ai/m3e-large
#### llm model, if you use openai or Azure or tongyi llm api service, you don't need to download llm model
git clone https://www.modelscope.cn/qwen/Qwen-14B-Chat-Int4.git
git lfs clone --verbose https://www.modelscope.cn/Xorbits/vicuna-13b-v1.5
环境变量配置, 配置LLM_MODEL参数在 `.env` 文件中
vim .env
LLM_MODEL 参照 这个文件 修改
如果启动 Qwen-14B-Chat-Int4 模型 还需要在DB-GPT/models/Qwen-14B-Chat-Int4/config.json这配置
disable_exllama:true
运行服务
python dbgpt/app/dbgpt_server.py
可能会报错 是有包没有安装 安装即可 希望能帮到大家