xformer\vllm与cuda版本

文章讨论了在安装xformer库时,由于不同CUDA版本的兼容性问题,建议使用CUDA11.7时安装xformers版本在0.0.22及以下,如vllm则需0.2.0或更低版本。针对cu11.8和其他版本,常规安装通常可行。
摘要由CSDN通过智能技术生成

默认不指定xformer版本可能安装最新版,对于之前版本的cuda会不兼容
指定cuda版本安装:
cuda11.7安装 pip3 install xformers==0.0.22 及以下版本,例如
0.0.21、0.0.20

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121

vllm 如果使用cuda11.7 需要使用版本小于等于0.2.0
pip install vllm==0.2.0
cuda11.7以上其他版本正常安装应该可以。

  • 5
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
我理解您的问题是关于安装Anaconda和使用4090的问题。根据引用,您可以通过下载CUDA库并将其添加到您的虚拟环境来加速4090的使用。具体的步骤是将cudnn文件夹解压缩并保存到指定的文件夹中,然后运行相应的Python脚本来将cudnn添加到虚拟环境中。 另外,根据引用,安装Python 3.10和PyTorch是使用4090的另一步骤。您可以下载并安装Miniconda(Python 3.10.9版本),然后根据需要安装PyTorch。 关于安装Anaconda,您可以直接从官方网站下载最新版本的Miniconda,根据引用提供的链接进行下载。安装完成后,您可以将Anaconda添加到系统环境变量中,以便在任何位置都可以访问Anaconda。 综上所述,您可以按照以下步骤来安装4090和使用Anaconda: 1. 下载并解压缩cudnn文件夹,并将其放入指定的文件夹中。 2. 运行cudann_1.8_install.py脚本,将cudnn添加到虚拟环境中。 3. 下载并安装Miniconda(Python 3.10.9版本)。 4. 根据需要安装PyTorch。 5. 将安装的Anaconda添加到系统环境变量中,以便全局访问。 请注意,这些步骤是为了安装和配置4090和Anaconda,以确保您可以顺利使用它们。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【stable-diffusion】4090显卡下dreambooth、lora、sd模型微调的GUI环境安装(cuda驱动、pytorch、xformer...](https://blog.csdn.net/imwaters/article/details/129984112)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值