内网环境使用Docker部署Qwen2模型-vLLM篇

在此之前，我们已成功利用Docker与Ollama框架，在内网环境中部署了Qwen2模型。下面我们再来看一下使用Docker与vLLM框架部署Qwen2模型。

准备vLLM镜像

在一台具备网络环境的机器上执行以下命令，拉取vLLM的镜像：

# 官方镜像
docker pull vllm/vllm-openai:latest

# 如果因为墙的原因，以上命令拉取不到，可以去看看下面这些仓库
Docker仓库：https://docker.1panel.live ✅网友自建
Docker仓库：https://docker.agsv.top  ✅网友自建
Docker仓库：https://docker.agsvpt.work  ✅网友自建
Docker仓库：https://dockerpull.com ✅网友自建
Docker仓库：https://dockerproxy.cn ✅网友自建

下载Qwen2-7B-Instruct模型

我这里下载的是Qwen2-7B-Instruct-GPTQ-Int4的模型。下载地址：

https://huggingface.co/Qwen/Qwen2-7B-Instruct-GPTQ-Int4

编写Dockerfile