初学大模型之——大模型推理部署手册（Docker+vllm）

已于 2024-07-25 20:37:20 修改
阅读量3.7k 收藏 36
点赞数 19
文章标签： docker 容器 人工智能
于 2024-07-25 20:34:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46598025/article/details/140699149
版权

一、dokcer

（一）Dockferfile介绍

以Qwen-72B模型为例，该模型提供了一个Dokcerfile文件，因此推荐使用Dockerfile来构建镜像。

关于Qwen的Dockerfile：

https://github.com/QwenLM/Qwen/tree/23a01b06960a1f3976b0746445f503bfaa813613/docker

关于Dockerfile文件内容的说明：

https://blog.csdn.net/weixin_53742691/article/details/130087006

Dockerfile文件内容的基本定义：

  • FROM

语法：FROM <image>[:<tag>] 解释：设置要制作的镜像基于哪个镜像，FROM指令必须是整个Dockerfile的第一个指令，如果指定的镜像不存在默认会自动从Docker Hub上下载。

  • MAINTAINER

语法：MAINTAINER <name> 解释：MAINTAINER指令允许你给将要制作的镜像设置作者信息

  • RUN

语法： ①RUN <command> #将会调用/bin/sh -c <command> ②RUN ["executable", "param1", "param2"] #将会调用exec执行，以避免有些时候shell方式执行时的传递参数问题，而且有些基础镜像可能不包含/bin/sh 解释：RUN指令会在一个新的容器中执行任何命令，然后把执行后的改变提交到当前镜像，提交后的镜像会被用于Dockerfile中定义的下一步操作，RUN中定义的命令会按顺序执行并提交，这正是Docker廉价的提交和可以基于镜像的任何一个历史点创建容器的好处，就像版本控制工具一样。

  • CMD

语法：①CMD ["executable", "param1", "param2"] #将会调用exec执行，首选方式 ②CMD ["param1"
最低0.47元/天 解锁文章
啾啾啾β
关注
LLM大模型推理加速 vLLM；docker推理大模型；Qwen vLLM使用案例；模型生成速度吞吐量计算
weixin_42357472的博客
09-04 4265
参考：https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html ##文档加速原理：PagedAttention，主要是利用kv缓存。
vllm docker部署qwen等大模型推理；api post调用访问
weixin_42357472的博客
05-14 1624
参考：下载镜像：镜像默认最后一层就是python -m vllm.entrypoints.openai.api_server。
docker 环境 部署vllm + deepseek -7B
XIAOTONGZHU的博客
03-10 1692
指定模型参数类型，可选项为 auto (自行根据情况加载) 、float32、bfloat16、float16等，可自行查阅部署模型可选参数类型有哪些，不知道的情况可选 auto。启用模型的自动工具选择能力，允许模型根据用户输入和预定义的工具列表，自动决定是否需要调用工具以及选择具体的工具。为容器分配一个伪终端（pseudo-TTY），使容器的输出格式化为终端友好的形式（如支持颜色、光标移动）。--served-model-name deepseek-7B 这个参数请求的时候需要用的。
docker + vllm 从零开始快速上手, 以部署DeepSeek-R1-Distill-Qwen-7B为例
kesanzz的博客
02-22 4372
本文手把手教你从零开始，以部署 DeepSeek-R1-Distill-Qwen-7B 模型为例，带你轻松搞定高性能推理服务！无论你是初学者还是进阶开发者，都能通过这篇教程快速上手，让复杂的模型部署变得简单高效。Docker 的便捷性与 vLLM 的强大性能结合，助你一步跨入大模型应用开发的前沿领域
在docker中使用vLLM部署大模型
m0_52827625的博客
04-11 1023
注意，如果在启服务的时候遇到了下面这个错误，需要进入到模型所在的文件夹，找到config.json，修改其中的max_position_embeddings字段和你的max_model_len匹配。这里注意，–limit-mm-per-prompt参数尽量加上，如果不加的话，一个对话里最多只能有一张图片，多了就会报错400，这里我随便设成了5，一个对话中对于5张图片就会报400。这个网站就可以实现，直接把转换内容替换到上面 “url” 的值就可以了，因为那个编码太长了，贴一张图片作为例子。
dockerfile之vllm大模型镜像构建
renwu
08-02 2305
基础镜像：nvidia/cuda:11.8.0-devel-ubuntu22.04。
DockerFile指令集
weixin_30379911的博客
12-30 142
FROM 语法：FROM <image>[:<tag>] 解释：设置要制作的镜像基于哪个镜像，FROM指令必须是整个Dockerfile的第一个指令，如果指定的镜像不存在默认会自动从Docker Hub上下载。 MAINTAINER 语法：MAINTAINER <name> ...
Dockerfile文件详解
书香水墨
02-03 223
一、示例 FROM openjdk:8 MAINTAINER che123 LABEL name="docker-demo" version="1.0" author="che123" COPY docker-demo-0.0.1-SNAPSHOT.jar dockerdemo-image.jar CMD ["java","-jar","dockerdemo-image.jar"] 二、指令详解 指令 描述 FROM 指定定制镜像的集成镜像 RUN 用于执行后面跟着的命令行命令。有以下
12 - Dockerfile指令集（Docker系列）
知识林www.zslin.com
12-08 568
本文章来自【知识林】在使用Dockerfile一构建Docker镜像之前需要先搞清楚Dockerfile中都有哪些常用的指令，这样在使用起来才能得心应手。这篇文章主要列举出Dockerfile中比较常用的指令及其用法和说明，需要注意的是这些指令都是全部大写。FROM： 说明：指定该镜像的基础镜像 格式如：FROM <image>或FROM <image>:<tag> 示例：FROM centos:7
纯干货！Docker Dockerfile指令大全（非常详细）零基础入门到精通，收藏这一篇就够了
leah126的博客
05-14 7205
Dockerfile 是一个用来构建镜像的文本文件，文本内容包含了一条条构建镜像所需的指令和说明。使用命令，用户可以创建基于基础镜像的自定义镜像。定义匿名数据卷，可实现挂载功能，可以将内地文件夹或者其他容器中得文件夹挂在到这个容器中。在启动容器时忘记挂载数据卷，会自动挂载到匿名卷。避免重要的数据，因容器重启而丢失，这是非常致命的。（容器使用的是AUFS，这种文件系统不能持久化数据，当容器关闭后，所有的更改都会丢失。避免容器不断变大。VOLUME ["", ""...]
【Ragflow】18.更好的推理框架：vLLM的docker部署方式
最新发布
兴趣使然的创作者
04-16 1264
看到不少人说“Ollama就图一乐，生产环境还得用vLLM”。本文决定使用docker对vLLM进行部署，并解决模型配置中，IP地址的硬编码问题。
如何使用vLLM部署通义千问大模型Qwen?使用docker的Python基础镜像部署大模型
Asigerg的博客
11-07 1922
1. 报了显存不足的问题，此时要么是你的GPU的显存无法支持你的模型，要么是你让vLLM占用的显存比例太大，而你的显存没有剩下那么多，此时应降低启动时的--gpu-memory-utilization。--gpu-memory-utilization 0.9 占用90%比例的显存，若显存被其他服务占用则可以降低该值。Qwen/Qwen2.5-32B-Instruct-GPTQ-Int4表示你要下载的模型名。--tensor-parallel-size，选择使用几个GPU。--name 设定容器名。
Dockerfile指令集
通往未来的路
05-22 129
Dockerfile指令集 主要组成部分： 基础镜像信息 FROM centos:6.8 制作镜像操作指令RUN yum insatll openssh-server -y 容器启动时执行指令 CMD ["/bin/bash"] 常用指令： FROM 这个镜像的妈妈是谁？（指定基础镜像） MAINTAINER 告诉别人，谁负责养它？（指定维护者信息，可以没有） RUN 你想让它干啥（在命令前面加上RUN即可） ADD 给它点创业资金（COPY文件，会自动解压） WORKDIR 我是cd,今天刚化了妆（
使用vllm docker容器部署大语言模型
yuanlulu的博客
02-11 5894
假设"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"被下载到了/mnt/llm_deploy/目录下，则模型的绝对路径是/mnt/llm_deploy/DeepSeek-R1-Distill-Qwen-32B，后面部署会用到这个目录。上面映射了目录/mnt/llm_deploy/到容器内部的/home/llm_deploy，则容器内看到的模型目录是/home/llm_deploy/DeepSeek-R1-Distill-Qwen-32B。搜索最新的vllm镜像。
docker+vllm 快速上手 以部署Qwen2.5通义千问为例
热门推荐
kesanzz的博客
10-28 1万+
一文教你快速上手vllm + docker, 并部署最强开源模型通义千问
Dockerfile常用指令
achao的博客
03-18 1957
从基础镜像创建一个新的构建阶段，可以在单个 Dockerfile 中出现多次，以创建多个映像或使用一个构建阶段作为另一个构建阶段的依赖项，可以通过将 AS name 添加到 FROM 指令来为新的构建阶段指定名称，tag 或 digest 值是可选的。匹配任何单个字符， * 匹配任意数量的字符（包括零）。执行构建命令（不支持环境变量），指令的缓存在下一次​​构建期间不会自动失效，可以使用 --no-cache 标志使 RUN 指令的缓存失效，例如 docker build --no-cache。
零基础大模型框架部署（小白专用手册版）
热爱生活，享受科技带来的智能和便利，这里是我的技术与思想碰撞的空间，一起探索科技背后的世界。
10-24 1641
最近两年大模型非常的火，自己也想部署一个来玩一玩，搜索各种资料研究，走了很多弯路，现在研究跑通之后，做了版基础小白都可用的手册篇，可运行大部分模型，如Qwen2-7b，供大家参考。部署模型步骤大致分为以下：
vllm部署说明和注意事项
sss_s12的博客
02-25 2180
"content": "请从以下文本中提前实体信息，实体信息包括 人名 地名 机构名，文本内容为：中国位于地区上，中国有个机构名，一个机构名是：中国Bank，一个地名是：北京，一个人名是：张三。"content": "你是一名高级智能任务分类助手，请对用户输入问题进行理解，在此基础上对问题进行分类，分类结果为“公司照顾说明书咨询问题”，“股票基金数据查询问题”，“其他问题”三种之一."},"description": "如果对用户输入问题分类后，认为是其他问题，则返回内容为'1'，否则返回'0'"}},
docker部署qwen2
01-25
### 使用 Docker 部署 Qwen2 的方法 为了使用 Docker 部署 Qwen2 模型，可以遵循以下指南来完成环境搭建和模型运行。 #### 准备工作 进入项目源代码的 `docker` 目录，并准备必要的配置文件： ```bash cd dify/docker cp middleware.env.example middleware.env ``` 这一步骤确保了所有必需的环境变量已经被正确设置[^1]。 #### 下载镜像 考虑到网络速度等因素，在正式启动容器之前可以选择预先下载所需的 Docker 镜像。对于 Qwen2 模型来说，可以通过指定加速器地址加快这一过程： ```bash docker pull dockerproxy.com/openmmlab/lmdeploy:latest ``` 此操作能够有效减少后续构建时间并提高效率[^3]。 #### 启动服务 当一切就绪之后，便可通过如下命令一键启动包含 Qwen2 模型的服务端： ```bash docker compose up -d ``` 上述指令会在后台以守护进程模式启动所需的所有服务组件，使得用户可以在不影响当前终端会话的情况下继续其他任务。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值