vllm の Dockerfile学习

最新推荐文章于 2025-04-25 17:06:40 发布
最新推荐文章于 2025-04-25 17:06:40 发布
阅读量128 收藏
点赞数 1
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44659309/article/details/146479322
版权 
# The vLLM Dockerfile is used to construct vLLM image that can be directly used
# to run the OpenAI compatible server.

# Please update any changes made here to
# docs/source/contributing/dockerfile/dockerfile.md and
# docs/source/assets/contributing/dockerfile-stages-dependency.png

ARG CUDA_VERSION=12.4.1
#################### BASE BUILD IMAGE ####################
# prepare basic build environment
FROM nvidia/cuda:${CUDA_VERSION}-devel-ubuntu20.04 AS base
ARG CUDA_VERSION=12.4.1
ARG PYTHON_VERSION=3.12
ARG TARGETPLATFORM
ENV DEBIAN_FRONTEND=noninteractive

# Install minimal dependencies and uv
RUN apt-get update -y \
    && apt-get install -y ccache git curl wget sudo \
    && curl -LsSf https://astral.sh/uv/install.sh | sh

# Add uv to PATH
ENV PATH="/root/.local/bin:$PATH"
# Create venv with specified Python and activate by placing at the front of path
ENV VIRTUAL_ENV="/opt/venv"
RUN uv venv --python ${PYTHON_VERSION} --seed ${VIRTUAL_ENV}
ENV PATH="$VIRTUAL_ENV/bin:$PATH"

# This timeout (in seconds) is necessary when installing some dependencies via uv since it's likely to time out
# Reference: https://github.com/astral-sh/uv/pull/1694
ENV UV_HTTP_TIMEOUT=500

# Upgrade to GCC 10 to avoid https://gcc.gnu.org/bugzilla/show_bug.cgi?id=92519
# as it was causing spam when compiling the CUTLASS kernels
RUN apt-get install -y gcc-10 g++-10
RUN update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 110 --slave /usr/bin/g++ g++ /usr/bin/g++-10
RUN <<EOF
gcc --version
EOF

# Workaround for https://github.com/openai/triton/issues/2507 and
# https://github.com/pytorch/pytorch/issues/107960 -- hopefully
# this won't be needed for future versions of this docker image
# or future versions of triton.
RUN ldconfig /usr/local/cuda-$(echo $CUDA_VERSION | cut -d. -f1,2)/compat/

WORKDIR /workspace

# arm64 (GH200) build follows the practice of "use existing pytorch" build,
# we need to install torch and torchvision from the nightly builds first,
# pytorch will not appear as a vLLM dependency in all of the following steps
# after this step
RUN --mount=type=cache,target=/root/.cache/uv \
    if [ "$TARGETPLATFORM" = "linux/arm64" ]; then \
        uv pip install --index-url https://download.pytorch.org/whl/nightly/cu126 "torch==2.7.0.dev20250121+cu126" "torchvision==0.22.0.dev20250121";  \
    fi

COPY requirements/common.txt requirements/common.txt
COPY requirements/cuda.txt requirements/cuda.txt
RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install -r requirements/cuda.txt

# cuda arch list used by torch
# can be useful for both `dev` and `test`
# explicitly set the list to avoid issues with torch 2.2
# see https://github.com/pytorch/pytorch/pull/123243
ARG torch_cuda_arch_list='7.0 7.5 8.0 8.6 8.9 9.0+PTX'
ENV TORCH_CUDA_ARCH_LIST=${torch_cuda_arch_list}
# Override the arch list for flash-attn to reduce the binary size
ARG vllm_fa_cmake_gpu_arches='80-real;90-real'
ENV VLLM_FA_CMAKE_GPU_ARCHES=${vllm_fa_cmake_gpu_arches}
#################### BASE BUILD IMAGE ####################

#################### WHEEL BUILD IMAGE ####################
FROM base AS build
ARG TARGETPLATFORM

# install build dependencies
COPY requirements/build.txt requirements/build.txt

# This timeout (in seconds) is necessary when installing some dependencies via uv since it's likely to time out
# Reference: https://github.com/astral-sh/uv/pull/1694
ENV UV_HTTP_TIMEOUT=500

RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install -r requirements/build.txt

COPY . .
ARG GIT_REPO_CHECK=0
RUN --mount=type=bind,source=.git,target=.git \
    if [ "$GIT_REPO_CHECK" != "0" ]; then bash tools/check_repo.sh ; fi

# max jobs used by Ninja to build extensions
ARG max_jobs=2
ENV MAX_JOBS=${max_jobs}
# number of threads used by nvcc
ARG nvcc_threads=8
ENV NVCC_THREADS=$nvcc_threads

ARG USE_SCCACHE
ARG SCCACHE_BUCKET_NAME=vllm-build-sccache
ARG SCCACHE_REGION_NAME=us-west-2
ARG SCCACHE_S3_NO_CREDENTIALS=0
# if USE_SCCACHE is set, use sccache to speed up compilation
RUN --mount=type=cache,target=/root/.cache/uv \
    --mount=type=bind,source=.git,target=.git \
    if [ "$USE_SCCACHE" = "1" ]; then \
        echo "Installing sccache..." \
        && curl -L -o sccache.tar.gz https://github.com/mozilla/sccache/releases/download/v0.8.1/sccache-v0.8.1-x86_64-unknown-linux-musl.tar.gz \
        && tar -xzf sccache.tar.gz \
        && sudo mv sccache-v0.8.1-x86_64-unknown-linux-musl/sccache /usr/bin/sccache \
        && rm -rf sccache.tar.gz sccache-v0.8.1-x86_64-unknown-linux-musl \
        && export SCCACHE_BUCKET=${SCCACHE_BUCKET_NAME} \
        && export SCCACHE_REGION=${SCCACHE_REGION_NAME} \
        && export SCCACHE_S3_NO_CREDENTIALS=${SCCACHE_S3_NO_CREDENTIALS} \
        && export SCCACHE_IDLE_TIMEOUT=0 \
        && export CMAKE_BUILD_TYPE=Release \
        && sccache --show-stats \
        && python3 setup.py bdist_wheel --dist-dir=dist --py-limited-api=cp38 \
        && sccache --show-stats; \
    fi

ENV CCACHE_DIR=/root/.cache/ccache
RUN --mount=type=cache,target=/root/.cache/ccache \
    --mount=type=cache,target=/root/.cache/uv \
    --mount=type=bind,source=.git,target=.git  \
    if [ "$USE_SCCACHE" != "1" ]; then \
        # Clean any existing CMake artifacts
        rm -rf .deps && \
        mkdir -p .deps && \
        python3 setup.py bdist_wheel --dist-dir=dist --py-limited-api=cp38; \
    fi

# Check the size of the wheel if RUN_WHEEL_CHECK is true
COPY .buildkite/check-wheel-size.py check-wheel-size.py
# sync the default value with .buildkite/check-wheel-size.py
ARG VLLM_MAX_SIZE_MB=400
ENV VLLM_MAX_SIZE_MB=$VLLM_MAX_SIZE_MB
ARG RUN_WHEEL_CHECK=true
RUN if [ "$RUN_WHEEL_CHECK" = "true" ]; then \
        python3 check-wheel-size.py dist; \
    else \
        echo "Skipping wheel size check."; \
    fi
#################### EXTENSION Build IMAGE ####################

#################### DEV IMAGE ####################
FROM base as dev

# This timeout (in seconds) is necessary when installing some dependencies via uv since it's likely to time out
# Reference: https://github.com/astral-sh/uv/pull/1694
ENV UV_HTTP_TIMEOUT=500

COPY requirements/lint.txt requirements/lint.txt
COPY requirements/test.txt requirements/test.txt
COPY requirements/dev.txt requirements/dev.txt
RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install -r requirements/dev.txt
#################### DEV IMAGE ####################

#################### vLLM installation IMAGE ####################
# image with vLLM installed
# TODO: Restore to base image after FlashInfer AOT wheel fixed
FROM nvidia/cuda:${CUDA_VERSION}-devel-ubuntu22.04 AS vllm-base
ARG CUDA_VERSION=12.4.1
ARG PYTHON_VERSION=3.12
WORKDIR /vllm-workspace
ENV DEBIAN_FRONTEND=noninteractive
ARG TARGETPLATFORM

RUN PYTHON_VERSION_STR=$(echo ${PYTHON_VERSION} | sed 's/\.//g') && \
    echo "export PYTHON_VERSION_STR=${PYTHON_VERSION_STR}" >> /etc/environment

# Install minimal dependencies and uv
RUN apt-get update -y \
    && apt-get install -y ccache git curl wget sudo vim \
    && apt-get install -y ffmpeg libsm6 libxext6 libgl1 libibverbs-dev \
    && curl -LsSf https://astral.sh/uv/install.sh | sh

# Add uv to PATH
ENV PATH="/root/.local/bin:$PATH"
# Create venv with specified Python and activate by placing at the front of path
ENV VIRTUAL_ENV="/opt/venv"
RUN uv venv --python ${PYTHON_VERSION} --seed ${VIRTUAL_ENV}
ENV PATH="$VIRTUAL_ENV/bin:$PATH"

# This timeout (in seconds) is necessary when installing some dependencies via uv since it's likely to time out
# Reference: https://github.com/astral-sh/uv/pull/1694
ENV UV_HTTP_TIMEOUT=500

# Workaround for https://github.com/openai/triton/issues/2507 and
# https://github.com/pytorch/pytorch/issues/107960 -- hopefully
# this won't be needed for future versions of this docker image
# or future versions of triton.
RUN ldconfig /usr/local/cuda-$(echo $CUDA_VERSION | cut -d. -f1,2)/compat/

# arm64 (GH200) build follows the practice of "use existing pytorch" build,
# we need to install torch and torchvision from the nightly builds first,
# pytorch will not appear as a vLLM dependency in all of the following steps
# after this step
RUN --mount=type=cache,target=/root/.cache/uv \
    if [ "$TARGETPLATFORM" = "linux/arm64" ]; then \
        uv pip install --index-url https://download.pytorch.org/whl/nightly/cu124 "torch==2.6.0.dev20241210+cu124" "torchvision==0.22.0.dev20241215";  \
    fi

# Install vllm wheel first, so that torch etc will be installed.
RUN --mount=type=bind,from=build,src=/workspace/dist,target=/vllm-workspace/dist \
    --mount=type=cache,target=/root/.cache/uv \
    uv pip install dist/*.whl --verbose

# If we need to build FlashInfer wheel before its release:
# $ export FLASHINFER_ENABLE_AOT=1
# $ # Note we remove 7.0 from the arch list compared to the list below, since FlashInfer only supports sm75+
# $ export TORCH_CUDA_ARCH_LIST='7.5 8.0 8.6 8.9 9.0+PTX'
# $ git clone https://github.com/flashinfer-ai/flashinfer.git --recursive
# $ cd flashinfer
# $ git checkout 524304395bd1d8cd7d07db083859523fcaa246a4
# $ rm -rf build
# $ python3 setup.py bdist_wheel --dist-dir=dist --verbose
# $ ls dist
# $ # upload the wheel to a public location, e.g. https://wheels.vllm.ai/flashinfer/524304395bd1d8cd7d07db083859523fcaa246a4/flashinfer_python-0.2.1.post1+cu124torch2.5-cp38-abi3-linux_x86_64.whl

RUN --mount=type=cache,target=/root/.cache/uv \
if [ "$TARGETPLATFORM" != "linux/arm64" ]; then \
    uv pip install https://github.com/flashinfer-ai/flashinfer/releases/download/v0.2.1.post2/flashinfer_python-0.2.1.post2+cu124torch2.6-cp38-abi3-linux_x86_64.whl ; \
fi
COPY examples examples

# Although we build Flashinfer with AOT mode, there's still
# some issues w.r.t. JIT compilation. Therefore we need to
# install build dependencies for JIT compilation.
# TODO: Remove this once FlashInfer AOT wheel is fixed
COPY requirements/build.txt requirements/build.txt
RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install -r requirements/build.txt

#################### vLLM installation IMAGE ####################

#################### TEST IMAGE ####################
# image to run unit testing suite
# note that this uses vllm installed by `pip`
FROM vllm-base AS test

ADD . /vllm-workspace/

# This timeout (in seconds) is necessary when installing some dependencies via uv since it's likely to time out
# Reference: https://github.com/astral-sh/uv/pull/1694
ENV UV_HTTP_TIMEOUT=500

# install development dependencies (for testing)
RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install -r requirements/dev.txt

# install development dependencies (for testing)
RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install -e tests/vllm_test_utils

# enable fast downloads from hf (for testing)
RUN --mount=type=cache,target=/root/.cache/uv \
    uv pip install hf_transfer
ENV HF_HUB_ENABLE_HF_TRANSFER 1

# Copy in the v1 package for testing (it isn't distributed yet)
COPY vllm/v1 /usr/local/lib/python3.12/dist-packages/vllm/v1

# doc requires source code
# we hide them inside `test_docs/` , so that this source code
# will not be imported by other tests
RUN mkdir test_docs
RUN mv docs test_docs/
RUN mv vllm test_docs/
#################### TEST IMAGE ####################

#################### OPENAI API SERVER ####################
# base openai image with additional requirements, for any subsequent openai-style images
FROM vllm-base AS vllm-openai-base

# This timeout (in seconds) is necessary when installing some dependencies via uv since it's likely to time out
# Reference: https://github.com/astral-sh/uv/pull/1694
ENV UV_HTTP_TIMEOUT=500

# install additional dependencies for openai api server
RUN --mount=type=cache,target=/root/.cache/uv \
    if [ "$TARGETPLATFORM" = "linux/arm64" ]; then \
        uv pip install accelerate hf_transfer 'modelscope!=1.15.0' 'bitsandbytes>=0.42.0' 'timm==0.9.10' boto3 runai-model-streamer runai-model-streamer[s3]; \
    else \
        uv pip install accelerate hf_transfer 'modelscope!=1.15.0' 'bitsandbytes>=0.45.0' 'timm==0.9.10' boto3 runai-model-streamer runai-model-streamer[s3]; \
    fi

ENV VLLM_USAGE_SOURCE production-docker-image

# define sagemaker first, so it is not default from `docker build`
FROM vllm-openai-base AS vllm-sagemaker

COPY examples/online_serving/sagemaker-entrypoint.sh .
RUN chmod +x sagemaker-entrypoint.sh
ENTRYPOINT ["./sagemaker-entrypoint.sh"]

FROM vllm-openai-base AS vllm-openai

ENTRYPOINT ["python3", "-m", "vllm.entrypoints.openai.api_server"]
#################### OPENAI API SERVER ####################
Zain Lau
关注
VLLM专题（二十六）—使用 Docker
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
03-17 744
参数指定了要运行的镜像，应替换为自定义构建的镜像名称（即构建命令中的-t标签）。注意仅适用于版本 0.4.1 和 0.4.2 - 这些版本的 vLLM Docker 镜像需要以 root 用户运行，因为在运行时需要加载 root 用户主目录下的库，即。如果您以其他用户身份运行容器，可能需要先更改该库（及其所有父目录）的权限，以允许该用户访问，然后使用环境变量运行 vLLM。
vllm docker部署qwen等大模型推理；api post调用访问
weixin_42357472的博客
05-14 1632
参考：下载镜像：镜像默认最后一层就是python -m vllm.entrypoints.openai.api_server。
windows上用vllm docker容器部署大语言模型
2401_83655422的博客
04-03 1133
通过以上步骤，你可以从拉取镜像开始，完整地运行 VLLM 容器、加载本地模型，并使用 Python 脚本与模型进行对话。如果请求成功，从返回的 JSON 数据中提取模型的回答，并将其添加到消息列表中，以便后续对话。如果模型加载成功，返回的 JSON 数据中会包含模型的详细信息，包括模型的 ID。是 VLLM 的启动参数，用于指定加载的模型路径和张量并行大小。是 VLLM 提供的 API 接口，用于获取已加载的模型信息。以下是完整的 Python 脚本，用于与模型进行对话。
在docker中使用vLLM部署大模型
m0_52827625的博客
04-11 1169
注意，如果在启服务的时候遇到了下面这个错误，需要进入到模型所在的文件夹，找到config.json，修改其中的max_position_embeddings字段和你的max_model_len匹配。这里注意，–limit-mm-per-prompt参数尽量加上，如果不加的话，一个对话里最多只能有一张图片，多了就会报错400，这里我随便设成了5，一个对话中对于5张图片就会报400。这个网站就可以实现，直接把转换内容替换到上面 “url” 的值就可以了，因为那个编码太长了，贴一张图片作为例子。
vllm（docker版）框架，运行Qwen2.5-VL-7B-Instruct图片转文字
qq_40335247的博客
03-26 1556
双4090通过docker搭载vllm框架，运行Qwen2.5-VL-7B-Instruct，完成图片内容提取
vllm 部署 Qwen2.5-VL-7B-Instruct 识别程序（docker版）
yhl18931306541的博客
04-09 540
docker版 vllm 部署 Qwen2.5-VL-7B-Instruct 识别程序
使用vllm docker容器部署大语言模型
yuanlulu的博客
02-11 6058
假设"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"被下载到了/mnt/llm_deploy/目录下，则模型的绝对路径是/mnt/llm_deploy/DeepSeek-R1-Distill-Qwen-32B，后面部署会用到这个目录。上面映射了目录/mnt/llm_deploy/到容器内部的/home/llm_deploy，则容器内看到的模型目录是/home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B。搜索最新的vllm镜像。
DockerFile指令集
weixin_30379911的博客
12-30 144
FROM 语法：FROM <image>[:<tag>] 解释：设置要制作的镜像基于哪个镜像，FROM指令必须是整个Dockerfile的第一个指令，如果指定的镜像不存在默认会自动从Docker Hub上下载。 MAINTAINER 语法：MAINTAINER <name> ...
docker 环境 部署vllm + deepseek -7B
XIAOTONGZHU的博客
03-10 1714
指定模型参数类型，可选项为 auto (自行根据情况加载) 、float32、bfloat16、float16等，可自行查阅部署模型可选参数类型有哪些，不知道的情况可选 auto。启用模型的自动工具选择能力，允许模型根据用户输入和预定义的工具列表，自动决定是否需要调用工具以及选择具体的工具。为容器分配一个伪终端（pseudo-TTY），使容器的输出格式化为终端友好的形式（如支持颜色、光标移动）。--served-model-name deepseek-7B 这个参数请求的时候需要用的。
docker + vllm 从零开始快速上手, 以部署DeepSeek-R1-Distill-Qwen-7B为例
kesanzz的博客
02-22 4489
本文手把手教你从零开始，以部署 DeepSeek-R1-Distill-Qwen-7B 模型为例，带你轻松搞定高性能推理服务！无论你是初学者还是进阶开发者，都能通过这篇教程快速上手，让复杂的模型部署变得简单高效。Docker 的便捷性与 vLLM 的强大性能结合，助你一步跨入大模型应用开发的前沿领域
内网环境使用Docker部署Qwen2模型-vLLM篇
u012374012的专栏
09-09 5287
在此之前，我们已成功利用Docker与Ollama框架，在内网环境中部署了Qwen2模型。下面我们再来看一下使用Docker与vLLM框架部署Qwen2模型。
dockerfile之vllm大模型镜像构建
renwu
08-02 2319
基础镜像：nvidia/cuda:11.8.0-devel-ubuntu22.04。
docker部署大模型（vllm+openwebui）
最新发布
weixin_44083952的博客
04-25 421
系统环境：ubuntu-22.04.5-server版显卡：8*L20（48G）使用模型：Qwen/QwQ-32B。
LLM大模型推理加速 vLLM；docker推理大模型；Qwen vLLM使用案例；模型生成速度吞吐量计算
weixin_42357472的博客
09-04 4275
参考：https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html ##文档加速原理：PagedAttention，主要是利用kv缓存。
docker+vllm 快速上手 以部署Qwen2.5通义千问为例
热门推荐
kesanzz的博客
10-28 1万+
一文教你快速上手vllm + docker, 并部署最强开源模型通义千问
昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker 镜像
xiezhipu的博客
02-06 1404
之前写了一堆介绍怎么在昇腾上部署qwen2.5的尝试。mindie发现人家发布了新版本。而且，之前版本的文档竟然直接删掉了。所以，没办法，重新写一遍吧。按理说，按照官网来应该问题不大，但是，谁知道呢，对吧。老规矩，咱先在权限申请这里申请权限。没有特殊情况的话，咱选这个👆按照官网提示，拉一下镜像，这个问题应该不大。
使用Docker、vllm和Gradio部署开源LLM，以Qwen-7B-Chat为例
sqlora的专栏
11-22 856
近期在做一些大模型的项目(-手动狗头)，需要站在巨人的肩膀上（开源模型），这里以阿里味的Qwen-7B-Chat为例，使用vllm推理框架，基于Docker进行部署测试。我这里的部署环境是2张2080Ti的显卡。步骤1. 编写vllm Dockerfile这里添加了一些注释，运行起来也没有奇怪的warnning# 选用一个基础镜像，就像是选择一个好的起点，这里我们用了 NVIDIA 的 CUDA 镜像，因为我们要做的事情需要大量的计算力。# 从我们之前选好的“起点”开始。
Docker部署Dify+vLLM+Ollama+nginx
pl1915080122的博客
03-20 1325
纯Docker部署Dify+vLLM+Ollama+Nginx
vLLM
03-09
### 关于 vLLM 的技术文档和使用教程 #### 一、vLLM 概述 vLLM 是一种用于高效部署大型语言模型的技术方案，旨在提供高性能的推理服务。该平台不仅支持传统的文本输入，还能够处理多模态数据，如图像和其他形式的数据[^4]。 #### 二、安装指南 对于希望在本地环境中设置 vLLM 平台的研究人员或者开发者来说，官方提供了详细的安装指导。值得注意的是，默认情况下 vLLM 支持基于 GPU 的环境配置；而对于 CPU 上运行的需求，则可能涉及到额外的编译过程[^3]。 #### 三、推理加速原理 为了实现高效的推理性能，vLLM 实现了一系列优化措施来提升计算效率并减少延迟时间。这些改进涵盖了从硬件层面到软件算法设计等多个方面，具体细节可以在相关文献中找到更深入探讨[^1]。 #### 四、实际应用案例分析 除了理论上的优势外，在实践中成功运用 vLLM 可以为用户提供更加流畅自然的语言交互体验。例如，在某些场景下可以通过微调特定领域内的预训练模型（比如 MiniCPM-V），从而更好地服务于视觉-语言任务需求。 ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("model_name") model = AutoModelForCausalLM.from_pretrained("model_name").to('cuda' if torch.cuda.is_available() else 'cpu') def generate_text(prompt): inputs = tokenizer(prompt, return_tensors="pt").input_ids.to(model.device) outputs = model.generate(inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return result ``` 上述代码展示了如何加载一个预先训练好的因果语言模型，并利用它来进行文本生成的任务。这只是一个简单的例子，更多高级功能还需要查阅完整的 API 文档以及参考其他开源项目中的实现方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值