DB-GPT、ChatGLM3-6B全精度部署_db-gpt chatglm

w5jaLw

于 2024-04-20 02:51:06 发布

阅读量542

点赞数 13

分类专栏：程序员文章标签：数据库 gpt

本文链接：https://blog.csdn.net/w5jaLw/article/details/137984107

版权

程序员专栏收录该内容

190 篇文章 0 订阅

订阅专栏


#### 源代码修改，就是把这两句代码提前到dbgpt模块导入


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/88d4ae3e91cb4c9a83a26acfdcf17f5e.png)


## 2、 数据库设置（docker + MySQL）

docker安装与mysql容器搭建就不详细说了

主要是数据迁移，有小坑

首先查看mysql服务地址

ifconfig


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9730f73f34ec41a28e246b4def785044.png)

导入数据库

mysql -h 172.17.0.1 -u root -p < ./assets/schema/dbgpt.sql

由于代码更新需要修改数据库表结构，有一张表需要添加字段

mysql -u root -p -h 172.17.0.1


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/69a2595dd31549bdb555adc1c261734d.png)

USE dbgpt;
ALTER TABLE dbgpt_serve_flow
ADD COLUMN error\_message varchar(512) null comment ‘Error message’ after state;


### 3、模型下载


请参照我的上一篇博客  
 [ChatGLM3-6B 多GPU、Linux环境部署遇到的问题以及解决方法]( )

cd DB-GPT
mkdir models
ln -s /opt/model/cache/ZhipuAI/chatglm3-6b /opt/suwy/DB-GPT/models/chatglm3-6b

注意这个bge-large-zh不要加后缀，这个是写死在.env环境文件中的

ln -s /opt/model/cache/AI-ModelScope/bge-large-zh-v1.5 /opt/suwy/DB-GPT/models/bge-large-zh


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/beda7fe7cfff4631b41c7e8055247555.png)


### 4、.env环境文件修改

cp .env.template .env

主要修改大语言模型配置、embedding配置、数据库配置、GPU使用配置

以下是修改部分

大语言模型配置

#*******************************************************************#
#** LLM MODELS **#
#*******************************************************************#

LLM_MODEL, see dbgpt/configs/model_config.LLM_MODEL_CONFIG

#LLM_MODEL=vicuna-13b-v1.5
LLM_MODEL=chatglm3-6b

LLM model path, by default, DB-GPT will read the model path from LLM_MODEL_CONFIG based on the LLM_MODEL.

Of course you can specify your model path according to LLM_MODEL_PATH

embedding配置

#*******************************************************************#
#** EMBEDDING SETTINGS **#
#*******************************************************************#
#EMBEDDING_MODEL=text2vec
#EMBEDDING_MODEL=m3e-large
#EMBEDDING_MODEL=bge-large-en
EMBEDDING_MODEL=bge-large-zh
KNOWLEDGE_CHUNK_SIZE=500
KNOWLEDGE_SEARCH_TOP_SIZE=5

Maximum number of chunks to load at once, if your single document is too large,

you can set this value to a higher value for better performance.

if out of memory when load large document, you can set this value to a lower value.

KNOWLEDGE_MAX_CHUNKS_ONCE_LOAD=10

#KNOWLEDGE_CHUNK_OVERLAP=50

Control whether to display the source document of knowledge on the front end.

KNOWLEDGE_CHAT_SHOW_RELATIONS=False

Whether to enable Chat Knowledge Search Rewrite Mode

KNOWLEDGE_SEARCH_REWRITE=False

EMBEDDING_TOKENIZER - Tokenizer to use for chunking large inputs

EMBEDDING_TOKEN_LIMIT - Chunk size limit for large inputs

EMBEDDING_MODEL=all-MiniLM-L6-v2

EMBEDDING_TOKENIZER=all-MiniLM-L6-v2

EMBEDDING_TOKEN_LIMIT=8191

数据库配置

#*******************************************************************#
#** DB-GPT METADATA DATABASE SETTINGS **#
#*******************************************************************#