使用 vLLM 运行 GLM-4-9B

已于 2024-06-06 08:11:40 修改
阅读量4.6k 收藏 31
点赞数 27
分类专栏： LLM 文章标签： 语言模型 llama gpt ai pytorch
于 2024-06-06 00:02:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/word_world/article/details/139482777
版权

安装 vLLM

注意：vLLM 只支持 linux 或 wsl

执行 $ pip install vllm 安装 vllm 可能遇到下面报错。

  • AssertionError: vLLM only supports Linux platform (including WSL).

    vLLM 不能直接跑在 windows 上，OMG.

    进入 wsl（如 ubuntu 22.04，python 3.10） 执行：

  1. 安装 cuda

    # apt-get install nvidia-cuda-toolkit
    # nvcc -V

    nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0

  2. 安装 vllm
    # pip install vllm 报错：

     ERROR: Could not find a version that satisfies the requirement vllm (from versions: none)
 ERROR: No matching distribution found for vllm

    升级 pip：
    # python3 -m pip install --upgrade pip

    再尝试：
    # pip install vllm

    ...
Downloading vllm-0.4.3-cp310-cp310-manylinux1_x86_64.whl (131.1 MB)
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 131.1/131.1 MB 640.5 kB/s eta 0:00:00
Downloading lm_format_enforcer-0.10.1-py3-none-any.whl (42 kB)
  ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 42.9/42.9 kB 569.5 kB/s eta 0:00:00
Downloading outlines-0.0.34-py3-none-any.whl (76 kB)
   ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 76.5/76.5 kB 613.2 kB/s eta 0:00:00
Downloading torch-2.3.0-cp310-cp310-manylinux1_x86_64.whl (779.1 MB)
   ━━━━━━━━━━━━━━━━━━━━╺━━━━━━━━━━━━━━━━━━━ 391.0/779.1 MB 3  65.6 kB/s eta 0:17:42
...

  • Downloading openai-1.31.1-py3-none-any.whl 遇到 pip._vendor.urllib3.exceptions.ReadTimeoutError

    # pip install urllib3==1.25.11

    手动安装 openai

    # pip install openai

    更新回最新 urllib3，否则其他依赖也会下载超时

    # pip install --upgrade urllib3

  1. vLLM 安装成功

    再尝试：
    # pip install vllm

    Installing collected packages: sentencepiece, py-cpuinfo, nvidia-ml-py, ninja, mpmath, websockets, uvloop, uvicorn, ujson, sympy, shellingham, safetensors, rpds-py, regex, python-multipart, python-dotenv, pygments, psutil, protobuf, prometheus-client, packaging, orjson, nvidia-nvtx-cu12, nvidia-nvjitlink-cu12, nvidia-nccl-cu12, nvidia-curand-cu12, nvidia-cufft-cu12, nvidia-cuda-runtime-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-cupti-cu12, nvidia-cublas-cu12, numpy, networkx, nest-asyncio, multidict, msgpack, mdurl, llvmlite, lark, joblib, interegular, httptools, fsspec, frozenlist, filelock, dnspython, diskcache, cmake, cloudpickle, charset-normalizer, attrs, async-timeout, yarl, watchfiles, triton, starlette, scipy, requests, referencing, nvidia-cusparse-cu12, nvidia-cudnn-cu12, numba, markdown-it-py, email_validator, aiosignal, tiktoken, rich, ray, prometheus-fastapi-instrumentator, nvidia-cusolver-cu12, lm-format-enforcer, huggingface-hub, aiohttp, typer, torch, tokenizers, xformers, vllm-flash-attn, transformers, fastapi-cli, outlines, fastapi, vllm
Successfully installed aiohttp-3.9.5 aiosignal-1.3.1 async-timeout-4.0.3 attrs-23.2.0 charset-normalizer-3.3.2 cloudpickle-3.0.0 cmake-3.29.3 diskcache-5.6.3 dnspython-2.6.1 email_validator-2.1.1 fastapi-0.111.0 fastapi-cli-0.0.4 filelock-3.14.0 frozenlist-1.4.1 fsspec-2024.6.0 httptools-0.6.1 huggingface-hub-0.23.3 interegular-0.3.3 joblib-1.4.2 lark-1.1.9 llvmlite-0.42.0 lm-format-enforcer-0.10.1 markdown-it-py-3.0.0 mdurl-0.1.2 mpmath-1.3.0 msgpack-1.0.8 multidict-6.0.5 nest-asyncio-1.6.0 networkx-3.3 ninja-1.11.1.1 numba-0.59.1 numpy-1.26.4 nvidia-cublas-cu12-12.1.3.1 nvidia-cuda-cupti-cu12-12.1.105 nvidia-cuda-nvrtc-cu12-12.1.105 nvidia-cuda-runtime-cu12-12.1.105 nvidia-cudnn-cu12-8.9.2.26 nvidia-cufft-cu12-11.0.2.54 nvidia-curand-cu12-10.3.2.106 nvidia-cusolver-cu12-11.4.5.107 nvidia-cusparse-cu12-12.1.0.106 nvidia-ml-py-12.555.43 nvidia-nccl-cu12-2.20.5 nvidia-nvjitlink-cu12-12.5.40 nvidia-nvtx-cu12-12.1.105 orjson-3.10.3 outlines-0.0.34 packaging-24.0 prometheus-client-0.20.0 prometheus-fastapi-instrumentator-7.0.0 protobuf-5.27.0 psutil-5.9.8 py-cpuinfo-9.0.0 pygments-2.18.0 python-dotenv-1.0.1 python-multipart-0.0.9 ray-2.23.0 referencing-0.35.1 regex-2024.5.15 requests-2.32.3 rich-13.7.1 rpds-py-0.18.1 safetensors-0.4.3 scipy-1.13.1 sentencepiece-0.2.0 shellingham-1.5.4 starlette-0.37.2 sympy-1.12.1 tiktoken-0.7.0 tokenizers-0.19.1 torch-2.3.0 transformers-4.41.2 triton-2.3.0 typer-0.12.3 ujson-5.10.0 uvicorn-0.30.1 uvloop-0.19.0 vllm-0.4.3 vllm-flash-attn-2.5.8.post2 watchfiles-0.22.0 websockets-12.0 xformers-0.0.26.post1 yarl-1.9.4

    查看 vLLM 版本

    # pip list | grep vllm

    vllm                              0.4.3
vllm-flash-attn                   2.5.8.post2

  • windows 上找不到 torch\lib\shm.dll

    OSError: [WinError 126] 找不到指定的模块。 Error loading "AppData\Local\Temp\pip-build-env-aq9ya1hl\overlay\Lib\site-packages\torch\lib\shm.dll" or one of its dependencies.

    参考 https://discuss.pytorch.org/t/error-loading-lib-site-packages-torch-lib-shm-dll-or-one-of-its-dependencie/201695 中的讨论。

    执行 $ nvcc --version 查看本机 cuda 版本：

    nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Tue_Feb_27_16:28:36_Pacific_Standard_Time_2024
Cuda compilation tools, release 12.4, V12.4.99
Build cuda_12.4.r12.4/compiler.33961263_0

    根据 https://pytorch.org/get-started/locally/ 的提示，由于在当前时间（2024-06-05）我的 cuda 12.4 版本过新，需要安装 Preview(Nightly) 版本的 PyTorch：
    选择 PyTorch 安装环境和版本

    $ pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu124

    Looking in indexes: https://download.pytorch.org/whl/nightly/cu124
Collecting torch
Downloading https://download.pytorch.org/whl/nightly/cu124/torch-2.4.0.dev20240605%2Bcu124-cp310-cp310-win_amd64.whl (2543.7 MB)
 ━━━━━━━━━━━━━━━╺━━━━━━━━━━━━━━━━━━━━━━━━ 1.0/2.5 GB 2.0 MB/s eta 0:13:16
...
Installing collected packages: tbb, mpmath, intel-openmp, sympy, networkx, mkl, torch, torchvision, torchaudio
Successfully installed intel-openmp-2021.4.0 mkl-2021.4.0 mpmath-1.2.1 networkx-3.2.1 sympy-1.12 tbb-2021.11.0 torch-2.4.0.dev20240605+cu124 torchaudio-2.2.0.dev20240605+cu124 torchvision-0.19.0.dev20240605+cu124

下载 GLM-4-9B 模型

使用 huggingface-cli 工具，可以很方便地从 https://hf-mirror.com 下载 THUDM/glm-4-9b 模型到本地 glm-4-9b/ 目录下：

$ huggingface-cli download --resume-download THUDM/glm-4-9b --local-dir glm-4-9b/

使用 vLLM 运行 GLM-4-9B

从 https://github.com/THUDM/GLM-4 下载文档和 basic_demo 里的 python 脚本，运行：

$ python3 basic_demo/vllm_cli_demo.py

GLM-4-9B VLLM 推理使用；openai接口调用、requests调用
weixin_42357472的博客
06-06 916
glm4 vllm openai
第一节：GLM-4-9B大模型安装、推理与训练详细教程
weixin_38252409的博客
12-23 1419
清华智普的GLM-4v-9b模型，作为优化的多模态大模型，特别适用于国内应用场景，解决了国外模型本地化不足的问题。本专栏提供环境安装、数据处理、视觉与语言模型源码理解，并基于Hugging Face重构GLM模型搭建教程，帮助理解、修改和应用GLM墨西哥，指导搭建多模态大模型，帮助读者自由搭建与修改大模型。本节给出glm的环境安装、模型训练与推理。
window基于wsl部署vllm流程及踩坑经历（包含cuda toolkit、nvcc版本问题）
a66920164的博客
02-28 3686
本文详述在Windows 11通过WSL搭建vLLM开发环境的流程。核心要求vLLM、PyTorch与CUDA三者版本必须一致（如CUDA 12.1）。重点解决CUDA版本冲突问题：通过修改环境变量路径、重建软链接确保nvcc版本统一。安装时需手动指定PyTorch的CUDA 12.1版本，并正确部署cuDNN库。最终通过强制安装cu121版PyTorch解决"RuntimeError: named symbol not found"报错，成功运行vLLM服务。
vllm的使用方式，入门教程
kcarly的专栏
02-27 2862
vLLM是一个强大且易于使用的推理框架，适用于多种场景。通过上述步骤，您可以快速上手并开始使用vLLM进行大语言模型推理。如果遇到问题，可以参考官方文档或社区资源进行解决。全参数微调（Full-Parameter Fine-Tuning）vLLM支持对预训练模型进行全参数微调，以适应特定任务或数据集。这种方法通过调整所有模型参数来优化性能，适用于需要大量数据和计算资源的场景。LoRA是一种高效、快速且参数效率高的微调方法，特别适用于资源有限的环境，如移动应用或边缘设备。
vllm 安装踩坑记
最新发布
自闭啦~~
03-03 2178
​参照上述所说进行安装。
GLM4 9B - 环境准备和 vllm 部署
arkohut的博客
06-06 5010
这里是视频的笔记，完整的信息请观看视频。6 月 5 日，glm 团队开源了最新的大语言模型，glm4 9b。同时，这次还直接推出了对应的多模态模型，glm-4v-9b 支持 8k 的上下文。从测评结果来看，其综合水平全面超越了 llama3 8b 的模型。这里呢，我还是先记录下环境搭建和部署的流程。
vllm实战：简易部署glm-4-9b-chat
yierbubu1212的博客
10-04 1055
max_model_len（最大长度）, tp_size（显卡数量） = 8192, 1。本次测试选用阿里云dsw a10 24g。本次测试选择glm4。
[大模型]GLM-4-9B-Chat vLLM 部署调用
FL1623863129的博客
06-11 5459
考虑到部分同学配置环境可能会遇到一些问题，我们在 AutoDL 平台准备了 GLM-4 的环境镜像，该镜像适用于本教程需要 GLM-4 的部署环境。（vLLM 对 torch 版本要求较高，且越高的版本对模型的支持更全，效果更好，所以新建一个全新的镜像。在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。的指示将端口映射到本地，然后在浏览器中打开链接 http://localhost:6006/ ，即可看到聊天界面。
vllm 部署GLM4模型进行 Zero-Shot 文本分类实验，让大模型给出分类原因，准确率可提高6%
jieshenai的博客
08-23 1393
本文记录了使用 vllm 部署 GLM4-9B-Chat 模型进行 Zero-Shot 文本分类的实验过程与结果。通过对 AG_News 数据集的测试，研究发现大模型在直接进行分类时的准确率为 77%。然而，让模型给出分类原因描述（reason）后，准确率显著提升至 83%，提升幅度达 6%。这一结果验证了引入 reasoning 机制的有效性。文中详细介绍了实验数据、提示词设计、模型推理方法及评估手段。
快速调用 GLM-4-9B-Chat 语言模型
BOTOAI
07-02 940
总之，选择哪种后端进行推理取决于您的具体需求，包括任务类型、性能要求、资源限制等因素。性能：transformers后端使用硬件加速（如GPU、TPU等）进行推理，因此在处理大量数据和复杂模型时具有更高的性能。而vLLM后端使用CPU进行推理，性能相对较低，但适用于轻量级模型和移动设备。资源消耗：transformers后端在推理过程中可能消耗较多的计算资源和内存，尤其是在使用大型模型时。易用性：transformers后端提供了丰富的API和工具，方便用户进行模型加载、推理和部署。一、确认本机显卡配置。
使用 lmdeploy 部署 THUDM/glm-4-9b-chat
engchina的专栏
07-13 1351
使用 lmdeploy 部署 THUDM/glm-4-9b-chat
【深度学习】LLaMA-Factory 大模型微调工具, 微调GLM-4-9B-Chat-1M ，Docker (4)
q742971636的博客
08-23 517
如今LLaMA-Factory 已正式支持GLM-4-9B，本篇文章会以Docker方式进行GLM-4-9B-Chat-1M微调，让其适合垂类任务。我的Docker镜像也会上传，可以直接使用，无需繁琐步奏即可开始训练部署。LLaMA Board 可视化微调（由 Gradio 驱动）
vLLM本地部署GLM-4-9b大模型，ChatTTS+AutoGen实现多AI对话转语音！打造AI小说智能体！AI写高考作文
m0_57057282的博客
06-27 1397
5）使用pyautogen完成用glm进行高考作文编写，并用gpt3-5评审的流程。8） chatTTS调用autogen的代码。3）用vllm以openai接口的形式运行。6)本地部署chatTTS（文字转语音）7）测试chatTTS。2）去魔塔社区下载模型。
GLM+vLLM 部署调用
qq_38915354的博客
06-13 3075
vLLM 框架是一个高效的大型语言模型（LLM）推理和部署服务系统
vllm server 命令大全
qq_28269995的博客
02-25 2375
vllm serve 提供了丰富的配置选项，允许用户根据需求灵活地调整模型服务的各个方面，包括模型加载、推理、并行化、日志记录等。通过合理配置这些选项，可以优化模型的性能和资源利用率。
保姆级教程！利用vLLM部署自己的大模型（glm-4-9b-chat）
m0_54180573的博客
12-17 4967
（在JupyterLab的最下方），可以看到下图所示界面，按箭头指示复制相应命令。图24将上述复制好的命令粘贴到本地打开的命令行中运行，注意要做一些修改，具体如图25所示。左侧的是本地想使用的服务端口，右侧是服务器上的服务端口，因此我们将右侧改为8000，左侧改为5000（便于区分，可以自定义修改）。运行命令后需要输入密码，我们从图24中复制密码并粘贴输入进去，按下回车就行（注意，这里粘贴好了密码并不会显示，粘贴完按下回车键即可）。图25经过上述操作，本地就能通过5000端口直接调用模型服务了。
vLLM指定版本安装——vLLM=0.2.3
最小公倍数的博客
12-17 3555
vLLM官方文档说了只针对cuda11.8和cuda12.1，那么我们就装vLLM后面带有+cu118或+cu121的版本,我服务器cuda是11的所以肯定不能装带有+cu112的，所以选择装后面带有+cu118的vLLM，又因为我需要跑的模型指定vLLM==0.2.3，综上考虑，我这儿只能安装vLLM==0.2.3+cu118。因为我服务器是远程连接实验室多人共享的，不能重装cuda，所以尝试上面说的第二种方法，整整两天，终于第二天晚上弄好了。（4）安装vLLM，需要其他版本的话，直接把对应。
【GLM-4部署实战】GLM-4-9B-Chat模型之vLLM部署推理实践
寻道AI，探索AI无限可能！
08-15 3307
在人工智能的广袤领域中，大型语言模型（LLM）的推理和部署是实现智能应用的关键步骤。vLLM框架，以其卓越的性能和易用性，为大型语言模型的高效运行提供了强有力的支持。本文将深入探讨如何利用vLLM框架，对GLM-4-9B-Chat模型进行部署和推理，以实现高性能的对话机器人服务。
glm vllm 工具
01-03
### GLM 和 VLLM 相关工具及库介绍 #### 1. VLLM 库 VLLM 是一个用于部署和管理大规模语言模型的服务框架。通过该库，用户能够轻松启动基于 OpenAI API 的服务器端点来服务于各种大模型。 对于已安装好 `vllm` 的环境来说，可以通过如下命令快速启动服务[^1]: ```bash python -m vllm.entrypoints.openai.api_server \ --model /root/autodl-tmp/ZhipuAI/glm-4-9b-chat \ --served-model-name glm-4-9b-chat \ --dtype auto \ --trust-remote-code \ --port 8000 \ --host 0.0.0.0 \ --gpu-memory-utilization 1 \ --max-model-len 2048 ``` 此命令指定了模型路径、名称以及其他必要的参数以确保顺利加载并运行指定的大规模预训练模型(GLM)，同时开放 HTTP 接口供外部调用[^3]。 #### 2. GLM 模型系列 GLM（General Language Model）是由智谱研发的一类通用型超大规模中文多模态预训练模型。它不仅支持纯文本任务处理，还具备跨模态理解能力。为了更好地利用这类模型执行特定应用开发工作，通常会搭配像上述提到的 `vllm` 这样的专用工具来进行高效部署和服务化改造。 除了基本的语言生成外，GLM 可应用于问答系统、机器翻译等多个领域，并且可以根据实际需求调整其架构大小从而适应不同的硬件条件与性能要求。 #### 3. FastLLM 加速推理引擎 FastLLM 是专为提升 LLM 类模型推断速度而设计的一种技术方案。当面对高并发请求场景时，采用 fastllm 可显著减少响应时间，提高用户体验满意度。此外，在资源受限的情况下也能有效降低计算成本，实现更优性价比的选择。 #### 4. LoRA 参数配置方法 LoRA（Low-Rank Adaptation of Large Pretrained Models），即低秩自适应算法，是一种轻量级迁移学习策略。通过对原始权重矩阵施加轻微扰动而非完全重新训练整个网络结构的方式完成目标域适配操作。这种方法特别适用于那些希望保留大部分原有功能特性的同时引入少量新特征的应用场合。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

游戏AI开发者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值