xformers版本与其依赖pytorch版本的对应关系

最新推荐文章于 2025-02-28 22:05:56 发布

BigerBang

最新推荐文章于 2025-02-28 22:05:56 发布

阅读量1.9w

点赞数 36

分类专栏：记录一些小问题的解决文章标签： pytorch 人工智能

本文链接：https://blog.csdn.net/BigerBang/article/details/140301608

版权

记录一些小问题的解决专栏收录该内容

6 篇文章

订阅专栏

pip安装的xformers版本与其依赖pytorch版本的对应关系

xformers	pytorch
0.0.26.post1	torch==2.3.0
0.0.25	torch==2.2.1
0.0.24	torch==2.2.0
0.0.23	torch==2.1.1
0.0.22	torch==2.0.1
0.0.21	torch==2.0.1
0.0.20	torch==2.0.1
0.0.19	torch==2.0.0
0.0.18	torch==2.0.0
0.0.17	torch==2.0.0
0.0.16	torch==1.13.1

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

BigerBang

关注关注

36
点赞
踩
42

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【深度学习】xformers与pytorch的版本对应关系

q742971636的博客

05-27

1万+

【代码】【深度学习】xformers与pytorch的版本对应关系。

Transformer神经网络架构的整体指南

安静的软件工程师

01-07

2161

Transformer神经网络架构的整体指南

5 条评论您还未登录，请先登录后发表或查看评论

xformers-0.0.16.dev421-cp310-cp310-manylinux2014-x86-64.whl

06-27

xformers-0.0.16.dev421-cp310-cp310-manylinux2014_x86_64.whl

xformers与pytorch的对应关系

ssm1122的博客

08-10

1698

xformerspytorch0.0.26.post1torch==2.3.00.0.25torch==2.2.10.0.24torch==2.2.00.0.23torch==2.1.10.0.22torch==2.0.10.0.21torch==2.0.10.0.20torch==2.0.10.0.19torch==2.0.00.0.18torch==2.0.00.0.17torch==2.0.00.0.16torch==1.13.1

xformers避坑白手起环境方案，小白友好（Anaconda虚拟环境cuda+cudnn+torch+torchvision+xformers网速极差版安装方案）

最新发布

weixin_47177911的博客

02-28

2337

提供全套实测成功安装whl资源文件。稳妥实测版本安装cuda+cudnn+torch+torchvision+xformer，有科学上网支持，但仍旧踩坑折腾了一晚上，特做此纪录，主要为解决加速器xformer的安装部署。又是为了装上一个库，重搭一个环境的晚上。本地环境为win11环境。全操作过程有图，百分之二百复现。

怎么指定cuda版本安装xformers

m0_73573564的博客

12-01

1986

直接pip安装xformers会默认使用支持该xformers的cuda最高版本，可能和环境的cuda版本不对应。中的方法可以指定cuda版本，我的pytorch时2.3.0问题解决。

bevformer转onnx自己电脑失败，由于grid-sample算子不支持

05-22

bevformer转onnx自己电脑失败，由于grid-sample算子不支持

pytorch与xformers版本关系对应

m0_46311043的博客

01-12

1万+

其他的可以从github里xformers发布的版本中写的pytorch版本推断。xformers 0.0.22对应pytorch 2.0.1。pytorch与xformers版本关系对应。0.0.23对应2.1.1。

pytorch 使用 xformers 库加速多头注意力计算和大幅节省显存

ONE_SIX_MIX的专栏

02-26

1万+

来自 https://facebookresearch.github.io/xformers/components/ops.html#module-xformers.ops。好处：使用 google PALM 架构的小模型做生成任务，改为 xformers 实现后，加速比为 2倍，显存消耗为原来的 1/3 ，非常给力。xformers 官方文档：https://facebookresearch.github.io/xformers/缺点：相比pytorch的原生实现，误差略大。

transformers、pytorch-transformers、pytorch-pretrained-bert的关系

qq_43391414的博客

06-26

2477

网上的一些介绍是“transformers包又名pytorch-transformers或者pytorch-pretrained-bert” 但是根据一些了解，实际上transformers库是最新的版本（以前称为pytorch-transformers和pytorch-pretrained-bert）所以它在前两者的基础上对一些函数与方法进行了改进，包括一些函数可能只有在transformers库里才能使用，所以使用transformers库比较方便。它提供了一些列的STOA模型的实现，包括(Bert

xformers 安装相关问题

m0_46437343的博客

06-17

3780

xformer直接pip install 需要最新版本的pytorch，从。可推算出各个pytorch版本对应的xformers版本。

Xformer_Pytorch

02-17

Xformer_Pytorch 目录介绍根据（），人们提出了许多基于x-formers的基于Transformer的模型来提高推理过程中的效率，尤其是通过减少推理时间。由于注意模块中的点积运算使Transformer模型的平方计算成为瓶颈，因此大多数x-former的主要焦点是对注意模块的修改。在此存储库中，我们遵循和的想法来实现Xformer注意模块。该模块已与兼容。 Xformer架构我们在修改Q，K和V的投影矩阵时保留了原始的注意操作。K和V的投影矩阵具有相同的权重，并通过$ \ beta $ （> 1）合并输入序列的序列长度维。 Q的投影矩阵通过$ \ alpha $ （> 1）合并输入序列的隐藏维。同样，从Q投影K而不是注意模块的输入序列。将n表示为输入序列长度，将d表示为序列长度。注意力概率的计算复杂度从O（n 2 d）降低到O（n 2 d /（$ \ a

xFormers 版本的选择

syson的专栏

10-30

2718

xFormers跟Python / CUDA / PyTorch的版本对齐

安装stable-diffusion的错误 xformers 安装解决

GranteZhou的专栏

07-19

3万+

3、注意这里的版本，如果安装的版本不对，会卸载你的原安装正常的pytorch版本，导致你的环境变得无法使用。比如我安装的torch-2.0.1+cu118，对应的是xformer0.0.19等都是错误的，导致需要重新卸载，重新安装。4、如果出现因安装xformers而卸载已经安装好的torch，可以先直接卸载torch和xformers，再运行webui-user.bat 脚本（直接运行webui-user.bat，不要带参数）重新安装torch。2、安装完SD后，启动出现xformers未安装的情况。

xFormers安装使用

热门推荐

培根芝士的专栏

03-06

5万+

xFormers是一个模块化和可编程的Transformer建模库，可以加速图像的生成。这种优化仅适用于nvidia gpus，它加快了图像生成，并降低了vram的使用量，而成本产生了非确定性的结果。下载地址：启用xformers对大图及以上有极为巨大的性能提升，极大幅度降低显存占用，并且有很大可能修复黑图。代价是部分细节可能有些许改变（有可能有巨大改变）。如果不是非常吹毛求疵，强烈推荐使用xformers生成高分辨率的图片。

ComfyUI 安装pytorch与xformers版本冲突问题

茶馆

11-16

3127

ComfyUI 大多用GPU来运行，（为啥，因为快啊），需要这二个包支持。

RuntimeError: No such operator xformers（快速解决）

weixin_55379527的博客

09-13

1680

No such operator xformers::efficient_attention_forward_cutlass - did you forget to build xformers withpython setup.py develop

xFormers - Transformers 加速研究的工具箱

AI工程化、开源分享、文档翻译、代码笔记

07-17

2933

一、关于 xFormers 特点二、安装xFormers 三、Benchmarks （可选）测试安装四、使用xFormers 1、Transformers 关键概念 2、Repo map 3、主要特点 4、安装故障排除

vllm与pytorch版本的对应关系

01-03

### 关于 VLLM 与 PyTorch 版本兼容性对于VLLM部署过程中遇到的问题，当尝试降级PyTorch至特定版本如`torch==2.1.1`时如果Pip提示存在依赖冲突，则建议进一步调整其他相关包的版本，比如将`xformers`降至`0.0.23`以解决潜在不匹配问题[^1]。通常情况下，机器学习框架及其扩展库之间有着严格的版本依赖关系。具体到VLLM项目而言，官方文档或社区反馈往往是最可靠的资源来获取确切的支持矩阵。然而，在缺乏明确指导的情况下，可以从已知信息推断： - **PyTorch版本选择**：考虑到VLLM作为一个较新的大型语言模型推理引擎，倾向于支持最新的稳定版PyTorch。因此推荐使用最新发布的LTS(Long Term Support)版本作为起点。 - **C++编译环境需求**：由于某些底层优化可能涉及到现代C++特性，确保使用的GCC/G++至少达到C++17标准是非常重要的。可以通过命令`gcc --version`检查现有编译器版本并据此决定是否升级[^2]。针对VLLM的具体兼容性列表并未直接给出，但从上述分析可以推测，保持PyTorch处于其最近几个主要发布版本之一通常是安全的选择，并且要保证本地开发环境中具备适当版本的C++编译工具链。 ```bash pip install torch==2.1.1 torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 ``` 此段代码展示了如何指定安装某个特定版本的PyTorch（这里假设为CUDA 11.8环境下）。实际操作前应参照目标硬件配置选取合适的URL参数。