VLLM专题（二十六）—使用 Docker

无声之钟

已于 2025-03-19 10:26:34 修改

阅读量719

点赞数

分类专栏：大模型专题系列文章标签： docker 容器人工智能

于 2025-03-17 19:18:44 首次发布

本文链接：https://blog.csdn.net/qq_39698985/article/details/146310751

版权

98 篇文章 ¥49.90 ¥99.00

订阅专栏

1. 使用 vLLM 的官方 Docker 镜像

vLLM 提供了一个官方 Docker 镜像用于部署。该镜像可用于运行与 OpenAI 兼容的服务器，并可在 Docker Hub 上获取，名称为 vllm/vllm-openai。

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HUGGING_FACE_HUB_TOKEN=<secret>" \

了解本专栏