玩转大模型之四（本地部署DB-GPT）

一、DB-GPT是啥

DB-GPT是一个开源框架，通过集成多种技术如SMMF、Text2SQL优化等，简化大模型在数据库应用中的开发，支持数据处理、问答、RAG等功能，适用于数据3.0时代的高效应用构建。它强调隐私安全和模型管理，提供多种交互方式如数据库对话和Excel支持。

二、本地部署

1、下载代码并安装依赖

git clone https://github.com/eosphoros-ai/DB-GPT.git
cd DB-GPT
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[default]"
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[openai]"

2、准备.env文件

LLM_MODEL=ollama_proxyllm
MODEL_SERVER=http://10.33.19.16:11434
PROXY_SERVER_URL=http://10.33.19.16:11434
PROXYLLM_BACKEND=qwen2:7b
PROXY_API_KEY=not_used
EMBEDDING_MODEL=proxy_ollama
proxy_ollama_proxy_server_url=http://10.33.19.16:11434
proxy_ollama_proxy_backend=nomic-embed-text:latest

3、准备ollama环境

ollama安装过程就省略了。

ollama run nomic-embed-text:latest
ollama run qwen2:7b

4、运行

python dbgpt/app/dbgpt_server.py

访问地址：http://你的服务器ip:5670/

三、功能测试

1、普通对话

海量模型支持，包括开源、API代理等几十种大语言模型。如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱、星火等。

2、RAG知识库问答

支持内置、多文件格式上传、插件自抓取等方式自定义构建知识库，对海量结构化，非结构化数据做统一向量存储与检索。

3、数据库问答

支持很多类型的数据库。

除此之外，还支持excel文件分析

还支持工作流配置

四、总结

DB-GPT是一个支持多种对话功能的工具，‌包括数据对话、‌数据库对话、‌Excel对话、‌知识库对话、‌报表分析和代理对话等。‌它在处理结构化和半结构化数据方面表现出色，‌能够理解用户的自然语言查询并将其准确转换为SQL语句，‌执行查询并返回结果。‌用户可以通过简单的问答形式获取所需的数据洞察，‌这对于数据分析和业务决策非常有价值。‌