查询vllm-flash-attn与之对应的pytorch

最新推荐文章于 2025-08-05 17:30:13 发布
最新推荐文章于 2025-08-05 17:30:13 发布
阅读量4.2k 收藏 2
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 运行环境 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/p731heminyang/article/details/141676862

最近安装vllm的时候 有时候pytorch版本总是弄错，这里写下vllm-flash-attn与pytoch对应关系

打开网站

vllm-flash-attn · PyPI

查询历史版本

点进去查询对应的pytoch

LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
AGI
09-26 6214
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
YOLOv12模型配置中的flash_attn模块的配置问题，如何解决？
**My Coding Family**
06-23 868
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！    📌 特别说明： 文中部分技术问题来源于真实生产环境及网络公开案例，均经过精挑细选与系统化整理，并结合多位一线资深架构师和工程师多年实战经验沉淀，提
【个人开发】cuda12.6安装vllm安装实践【内含踩坑经验】
weixin_44505713的博客
02-10 4268
这个文件应该指向的是cuda的文件。到cuda的路径看看【笔者cuda的路径为：/usr/local/cuda/lib64】vLLM是一个快速且易于使用的LLM推理和服务库。企业级应用比较普遍，尝试安装相关环境，尝试使用。借鉴楼上大佬的经验参考，将vllm 版本降至0.6.4.post1即可解决。使用vllm启动模型/root/Qwen2.5-7B-Instruct。那么这里只有两种解决方案，要么重装cuda，要么重装vllm。基于cuda跟torch的版本考虑，笔者选择如下版本。
使用vllm框架运行qwen2.5vl模型
海
08-05 912
之前使用python直接运行qwen2.5-vl模型虽然成功了，但是在后续的测试使用中发现相应速度很慢,而且使用java对接gradio很麻烦,后来在网上看到了推荐使用vllm框架来运行qwen2.5vl加速推理(官网也推荐)，就来试试,对比下两者效果。
Pytorch/CUDA——flash-attn 库编译的 gcc 版本问题
Williamcsj的博客
07-04 1081
flash-attn编译依赖特定版本的gcc和CUDA Toolkit组合。不同CUDA版本对应支持的gcc范围不同（如CUDA 11.8需gcc 9.x~11.x），版本不匹配会导致nvcc报错。需确保系统gcc、nvcc和PyTorch的CUDA版本三者兼容。可通过命令查看当前版本，若版本不匹配需调整gcc版本。flash-attn必须使用nvcc编译，不支持替代方案。
版本对应：Pytorch和Torchvision
嗑研狗的日常
12-18 1378
版本对应：Pytorch和Torchvision
vLLM指定版本安装——vLLM=0.2.3
最小公倍数的博客
12-17 5306
vLLM官方文档说了只针对cuda11.8和cuda12.1，那么我们就装vLLM后面带有+cu118或+cu121的版本,我服务器cuda是11的所以肯定不能装带有+cu112的，所以选择装后面带有+cu118的vLLM，又因为我需要跑的模型指定vLLM==0.2.3，综上考虑，我这儿只能安装vLLM==0.2.3+cu118。因为我服务器是远程连接实验室多人共享的，不能重装cuda，所以尝试上面说的第二种方法，整整两天，终于第二天晚上弄好了。（4）安装vLLM，需要其他版本的话，直接把对应。
Pytorch与LLM
叶雨微雨的博客
06-20 1243
AI/Pytorch/LLM/微调
Vllm Cannot use FlashAttention-2 backend because the flash_attn package is not found
engchina的专栏
04-29 2473
Vllm Cannot use FlashAttention-2 backend because the flash_attn package is not found
vllm-flash-attn 2.6.1 windows pycharm安装
03-13
总结步骤大致是：安装CUDA和cuDNN，安装PyTorch GPU版，安装Visual Studio Build Tools，使用pip安装vllm-flash-attn，处理可能出现的错误，最后在PyCharm中验证安装。在Windows系统上通过PyCharm安装`vllm-flash-...
解决：pip install flash-attn安装失败案例【cuda】【torch】【flash-attn】
cold的博客
08-30 4631
PyTorch 官方提供了一个方便的工具来生成合适的安装命令。可以访问 PyTorch 官方网站并选择配置，例如操作系统、PyTorch 版本、CUDA 版本等。随后，网站会生成对应的安装命令。，以及后来可能会提示’torch’未安装，却不知道对应cuda版本的torch安装方式。这有一份问题讨论帖，它虽不能解决我的问题，但可能会对你的问题有所帮助，下的含有nvcc文件的cuda目录，将它写入。好了，本马喽要去打二郎神去了~（筋斗云）在一个容器中部署项目环境中，遇到的。重新创建新的虚拟环境，
Yuan-2.0M32 推理脚本 与vllm加速
强化学习曾小健
07-11 1993
这个脚本通过torchrun启动了一个分布式推理服务器，用于运行 "Yuan-2.1B" 模型。脚本设置了各种模型参数、分布式训练配置以及推理服务器的相关配置。脚本中的关键配置包括指定使用的 GPU 设备、设置 NCCL 超时时间、定义GPT 模型参数、指定 Tokenizer 类型和路径、以及加载模型检查点等。
``` INFO 08-06 08:51:39 [patch_spec_decode_worker.py:109] Configuring SpecDecodeWorker with proposer=<class 'vllm.spec_decode.medusa_worker.MedusaWorker'> INFO 08-06 08:51:39 [rejection_sampler.py:61] Use pytorch for rejection sampling. INFO 08-06 08:51:39 [patch_spec_decode_worker.py:121] [Speculative Decoding] Configuring SpecDecodeWorker with sampler=<class 'vllm.model_executor.layers.rejection_sampler.RejectionSampler'> ERROR 08-06 08:51:39 [engine.py:458] 'NoneType' object has no attribute 'get_name' ERROR 08-06 08:51:39 [engine.py:458] Traceback (most recent call last): ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/engine/multiprocessing/engine.py", line 446, in run_mp_engine ERROR 08-06 08:51:39 [engine.py:458] engine = MQLLMEngine.from_vllm_config( ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/engine/multiprocessing/engine.py", line 133, in from_vllm_config ERROR 08-06 08:51:39 [engine.py:458] return cls( ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/engine/multiprocessing/engine.py", line 87, in __init__ ERROR 08-06 08:51:39 [engine.py:458] self.engine = LLMEngine(*args, **kwargs) ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/engine/llm_engine.py", line 265, in __init__ ERROR 08-06 08:51:39 [engine.py:458] self.model_executor = executor_class(vllm_config=vllm_config) ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/executor/executor_base.py", line 53, in __init__ ERROR 08-06 08:51:39 [engine.py:458] self._init_executor() ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/executor/uniproc_executor.py", line 46, in _init_executor ERROR 08-06 08:51:39 [engine.py:458] self.collective_rpc("init_worker", args=([kwargs], )) ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/executor/uniproc_executor.py", line 57, in collective_rpc ERROR 08-06 08:51:39 [engine.py:458] answer = run_method(self.driver_worker, method, args, kwargs) ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/utils/__init__.py", line 2736, in run_method ERROR 08-06 08:51:39 [engine.py:458] return func(*args, **kwargs) ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/worker/worker_base.py", line 595, in init_worker ERROR 08-06 08:51:39 [engine.py:458] self.worker = worker_class(**kwargs) ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm/vllm/spec_decode/spec_decode_worker.py", line 100, in create_spec_worker ERROR 08-06 08:51:39 [engine.py:458] spec_decode_worker = SpecDecodeWorker.create_worker( ERROR 08-06 08:51:39 [engine.py:458] File "/vllm-workspace/vllm-ascend/vllm_ascend/patch/worker/patch_common/patch_spec_decode_worker.py", line 126, in create_worker ERROR 08-06 08:51:39 [engine.py:458] if scorer_worker.model_runner.attn_backend.get_name() != "FLASH_ATTN": ERROR 08-06 08:51:39 [engine.py:458] AttributeError: 'NoneType' object has no attribute 'get_name' ``` 请分析问题原因
最新发布
08-07
在vLLM的SpecDecodeWorker创建过程中，需要检查注意力后端（attn_backend）的名称，以确定是否为FLASH_ATTN。 2. 但是，在昇腾（NPU）适配版本（vllm-ascend）中，scorer_worker.model_runner.attn_backend可能...
查看VLLM最新版本方法
jay_hyaline的博客
05-09 1320
查看vllm最新版本的简单方法。
FlashAttention（flash-attn）安装
热门推荐
MurphyStar的博客
05-08 4万+
Flash Attention是一种注意力算法，更有效地缩放基于transformer的模型，从而实现更快的训练和推理。由于很多llm模型运行的时候都需要安装flash_attn，比如Llama3，趟了不少坑，最后建议按照已有环境中Python、PyTorch和CUDA的版本精确下载特定的whl文件安装是最佳方式。
xformer\vllm与cuda版本
rstroller的博客
04-13 6585
cuda11.7安装 pip3 install xformers==0.0.23.post1 及以下版本，例如。默认不指定xformer版本可能安装最新版，对于之前版本的cuda会不兼容。
OpenRLHF环境部署与训练RewardModel(解决flash_attn与torch不匹配)持续更新
mathboss的博客
06-09 437
部署环境为8卡V100，cuda12.0，系统Ubuntu 20.04.6 LTS按照官方文档的快速开始这里由于我的机器已经在docker上了，就使用uv管理环境，但是在安装openrlhf[vllm]包时，会报错没有torch如果继续使用–no-build-isolation安装openrlhf。可以正常运行reward model但是这种方法继续执行安装vllm的话，又会报flash-attn和torch版本不匹配的错误。
使用 vLLM 运行 GLM-4-9B
爱学习，爱编程
06-06 5258
在 wsl 中安装 vLLM；使用 huggingface-cli 下载 GLM-4-9B；运行 basic_demo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值