xformer\vllm与cuda版本

已于 2024-04-13 12:06:36 修改
阅读量5.6k 收藏 6
点赞数 5
文章标签： 人工智能 深度学习
于 2024-04-13 11:30:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rstroller/article/details/137711170
版权
文章讨论了在安装xformer库时，由于不同CUDA版本的兼容性问题，建议使用CUDA11.7时安装xformers版本在0.0.22及以下，如vllm则需0.2.0或更低版本。针对cu11.8和其他版本，常规安装通常可行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

默认不指定xformer版本可能安装最新版，对于之前版本的cuda会不兼容
指定cuda版本安装：
cuda11.7安装 pip3 install xformers==0.0.22 及以下版本，例如
0.0.21、0.0.20

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

vllm 如果使用cuda11.7 需要使用版本小于等于0.2.0
pip install vllm==0.2.0
cuda11.7以上其他版本正常安装应该可以。

reesn
关注
【深度学习】xformers与pytorch的版本对应关系
q742971636的博客
05-27 1万+
【代码】【深度学习】xformers与pytorch的版本对应关系。
【深度学习】sdwebui A1111 加速方案对比，xformers vs Flash Attention 2
q742971636的博客
06-19 1971
安装pytorch 2.2以上，启用sdpa（–opt-sdp-no-mem-attention，就可以不用安装xformers 了。Flash Attention 2 是 Flash Attention 的改进版本，它提供了更高的性能和更好的并行性。pytorch2.2版本的 F.scaled_dot_product_attention() 即是Flash Attention 2。写真，A10，1张图，生图换脸一套时间，25秒。写真，A10，2张图，生图换脸一套时间，46秒。
CUDA12.4安装torch、xformers
guigui_xxx的博客
11-04 432
x
安装vllm
最新发布
cjxx 的专栏
03-24 289
事情发生在2025年3月. 此时的cuda最新版为12.8. pytorch支持的最新版为12.6. vllm支持的最新版为12.4 我需要安装unsloth 和vllm来应对我的titan v(老古董).简单一句话, ubuntu 必须使用 22.04.(因为cuda的12.4版本目前最高只能支持这个版本) 然后使用清华园镜像进行安装. 否则将承受各种兼容痛苦与版本不匹配.
comfyUI独立安装包中，安装xformers，加速图像生成
聚梦小课堂
03-09 1900
xformers的安装与否并不影响comfyui可以正常运行，图像还是可以正常生成的，只是速度会慢一些，如果你的显卡本身显存不大，还是建议更新安装下的。这里我用4090测试了下，本来以为可能没什么影响，实际发现就算是4090这种大显存的显卡，仍然能带来不小的性能提升。实际效果测试和安装方法请看详情。
CUDA快速使用和xformers安装
skt1201的博客
06-11 1530
自用CUDA使用和xformers安装。
xFormers 版本的选择
syson的专栏
10-30 2755
xFormers跟Python / CUDA / PyTorch的版本对齐
vLLM指定版本安装——vLLM=0.2.3
最小公倍数的博客
12-17 3608
vLLM官方文档说了只针对cuda11.8和cuda12.1，那么我们就装vLLM后面带有+cu118或+cu121的版本,我服务器cuda是11的所以肯定不能装带有+cu112的，所以选择装后面带有+cu118的vLLM，又因为我需要跑的模型指定vLLM==0.2.3，综上考虑，我这儿只能安装vLLM==0.2.3+cu118。因为我服务器是远程连接实验室多人共享的，不能重装cuda，所以尝试上面说的第二种方法，整整两天，终于第二天晚上弄好了。（4）安装vLLM，需要其他版本的话，直接把对应。
vLLM&cuda安装笔记
热门推荐
golfxiao的专栏
08-03 1万+
其次是cuda，vLLM是拿12.1版本编译的，但本地机器装的cuda为12.0，尝试过向下兼容的方式后无果，最终选择按照官方建议的cuda-12.1来重新安装，这意味着不仅仅是vLLM，机器上已经安装的pytorch、cuda都需要重新安装。
xFormers 无法加载 CUDA
10-26 8893
xformers版本和torch不匹配。
怎么指定cuda版本安装xformers
m0_73573564的博客
12-01 2023
直接pip安装xformers会默认使用支持该xformers的cuda最高版本，可能和环境的cuda版本不对应。中的方法可以指定cuda版本，我的pytorch时2.3.0问题解决。
CUDA 118 安装vllm
weixin_43278082的博客
11-11 2380
下载完上面的两个文件之后可以进行离线安装，安装顺序为先安装torch，然后再安装vllm。安装完torch之后，安装vllm的时候就会检测到torch已经安装并且满足要求，就会略过torch的安装，这也是核心所在。最新版本的vllm基本都需要pytorch版本2.4.0或者2.5.0。会默认使用CUDA12进行编译安装，导致安装失败。但实际操作中也会出现一些问题，下面介绍一下我平时探索出的安装方法。没有具体的包含所有whl的网站，大家可以去。下面给出一个最新的支持cu118的版本。
BUG:C++/CUDA extensions. xFormers was built for: PyTorch 2.1.2+cu121 with CUDA 1201 (you have 2.1.0+
集电极
05-27 2287
使用vllm启动大模型出现的错误。原因：xformers版本和torch、cuda不匹配。我机器的cuda版本只支持到11.8，而 pip install xformers 默认安装的版本需要cuda12.1。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机多卡-RTX 4090双卡（七）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-16 1万+
使用Axolotl高效微调qwen2-7b-instruct
开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机单卡-V100（九）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-22 7508
使用Axolotl高效微调qwen2-7b-instruct
window基于wsl部署vllm流程及踩坑经历（包含cuda toolkit、nvcc版本问题）
a66920164的博客
02-28 3762
本文详述在Windows 11通过WSL搭建vLLM开发环境的流程。核心要求vLLM、PyTorch与CUDA三者版本必须一致（如CUDA 12.1）。重点解决CUDA版本冲突问题：通过修改环境变量路径、重建软链接确保nvcc版本统一。安装时需手动指定PyTorch的CUDA 12.1版本，并正确部署cuDNN库。最终通过强制安装cu121版PyTorch解决"RuntimeError: named symbol not found"报错，成功运行vLLM服务。
安装xformers、apex时版本问题
rongbaohan的博客
04-11 1032
如果torch==1.13.1时，适合安装0.0.16，其他版本比较麻烦。
xformers避坑白手起环境方案，小白友好（Anaconda虚拟环境cuda+cudnn+torch+torchvision+xformers网速极差版安装方案）
weixin_47177911的博客
02-28 2378
提供全套实测成功安装whl资源文件。稳妥实测版本安装cuda+cudnn+torch+torchvision+xformer，有科学上网支持，但仍旧踩坑折腾了一晚上，特做此纪录，主要为解决加速器xformer的安装部署。又是为了装上一个库，重搭一个环境的晚上。本地环境为win11环境。全操作过程有图，百分之二百复现。
安装vllm的时候卡主：Collecting vllm-nccl-cu12＜2.19,＞=2.18 (from vllm)
WGS.
05-27 3318
安装vllm的时候卡主：Collecting vllm-nccl-cu12=2.18 (from vllm)
xformer
03-18
### Xformer 及其相关技术概述 Xformer 是一种专注于 Transformer 架构及其变体的框架库，旨在提供高效、灵活且易于扩展的功能支持。它不仅涵盖了经典的 Transformer 模型[^1]，还集成了多种改进版本以及优化方法。 #### 什么是 Xformer？ Xformer 是一个用于实现各种 Transformer 类模型的开源工具包。它的设计目标是简化复杂架构的研究与开发过程，同时提高计算效率和资源利用率。通过模块化的设计理念，开发者可以轻松构建自定义的 Transformer 结构并应用于不同场景。 以下是关于 **Swin Transformer** 的一些背景信息作为补充说明： Swin Transformer 提出了基于分层结构和移位窗口机制的新颖视觉变换器方案。该方法显著降低了传统全局注意力操作带来的高昂计算成本，并增强了局部特征表达能力。这种创新思路也启发了许多后续研究工作，在计算机视觉领域产生了深远影响。 #### 主要特性 - 支持主流Transformer变种（如BERT,GPT,Swin等） - 高效内存管理策略减少训练开销 - 易于集成新组件满足特定需求 下面展示了一个简单的例子来演示如何利用Python代码加载预训练好的Swin模型： ```python from transformers import SwinModel, SwinConfig config = SwinConfig(image_size=224) model = SwinModel.from_pretrained("microsoft/swin-tiny-patch4-window7-224", config=config) print(model) ``` 此脚本片段展示了从Hugging Face Transformers库中获取已训练完毕的小规模Swin实例的方法。 ### 总结 综上所述,Xformer不仅仅局限于某单一类型的神经网络;相反地,它是围绕着整个家族而建立起来的一个强大平台. 它允许研究人员快速实验不同的设计方案, 并推动前沿科技的发展.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值