DB-GPT Docker部署

拉取镜像

docker pull eosphorosai/dbgpt:latest

linux判断拉取是否成功的方法

docker images | grep "eosphorosai/dbgpt"

windows判断拉取是否成功的方法

docker images | Select-String "eosphorosai/dbgpt"

如果报错没有,则用

docker images | findstr "eosphorosai/dbgpt"

模型以及启动容器

模型

本地部署大模型,可离线下载后放置/models目录下(启动容器后docker cp即可)。
docker cp后别着急提交新镜像,可能会出现要安装其他包。

启动容器

docker run --ipc host --gpus all -d \
-p 5000:5000 \
-e LOCAL_DB_TYPE=sqlite \
-e LOCAL_DB_PATH=data/default_sqlite.db \
-e LLM_MODEL=vicuna-13b-v1.5 \
-e LANGUAGE=zh \
-v /data/models:/app/models \
--name dbgpt \
eosphorosai/dbgpt

界面如下(0.56):

在这里插入图片描述

要在Docker部署一个Chatbot GPT-2,您需要按照以下步骤操作: 1. 首先,您需要安装DockerDocker Compose。您可以在官方网站上找到有关如何安装这些工具的文档。 2. 接下来,您需要下载Chatbot GPT-2代码并将其放置在一个文件夹中。您可以从GitHub或其他来源获取该代码。 3. 在该文件夹中,您需要创建一个名为“ Dockerfile”的文件,并将以下内容复制到该文件中: ``` FROM tensorflow/tensorflow:latest-gpu-py3 RUN apt-get update && apt-get install -y git RUN git clone https://github.com/huggingface/transformers.git && \ cd transformers && git checkout v3.0.2 && \ pip install . RUN git clone https://github.com/microsoft/DialoGPT.git && \ cd DialoGPT && git checkout v1.0 && \ pip install -r requirements.txt WORKDIR /app COPY . . CMD ["python", "main.py"] ``` 这个Dockerfile使用最新的TensorFlow GPU映像,安装了必要的软件包和依赖项,然后将应用程序代码复制到容器中并启动主程序。 4. 接下来,您需要创建一个名为“ docker-compose.yml”的文件,并将以下内容复制到该文件中: ``` version: '3' services: chatbot: build: . expose: - 5000 ports: - 5000:5000 environment: - GPU=1 ``` 这个docker-compose文件定义了一个服务,使用刚才创建的Dockerfile进行构建。它将端口5000暴露给主机,并将容器端口5000映射到主机端口5000。它还设置了一个名为GPU的环境变量,以便容器可以使用GPU。 5. 现在您可以运行以下命令来构建和启动Chatbot GPT-2容器: ``` docker-compose build docker-compose up -d ``` 第一条命令将构建容器,而第二条命令将启动容器并在后台运行。现在,您可以访问http://localhost:5000来与Chatbot GPT-2进行交互。 希望这可以帮助您部署Chatbot GPT-2容器。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值