Windows如何在虚拟环境中配置好CUDA与CUDNN

我们跑大模型，无论是视觉还是文本、多模态等等都需要用到GPU

想看到自己有什么虚拟环境：

conda info --envs

结果：

我这边用来泡模型的是llama_factory

activate llama_factory

进入到虚拟环境，输入

conda search cudatoolkit --info

查看自己适合的cuda版本
我这里选择的是这个，我们在一个网页里面打开url，把下载后的cuda放在一个地方，后面如果还要为虚拟环境配置相应的cuda我们还可以用到。

同理，现在要开始下载cudnn，在虚拟环境中输入：

conda search cudnn --info

下载后放在一个地方，我这边放在了：C:\D\Cuda_Cudnn\cudnn-8.9.2.26-cuda11_0.conda

现在把下载后的cuda与cudnn一起装到自己的环境中，遵循下面的规则

conda install --use-local 本地cudnn包所在的路径

比如：

conda install --use-local C:\D\Cuda_Cudnn\cudnn-8.9.2.26-cuda11_0.conda

现在我们测试一下有没有安装成果：

首先安装与cuda相匹配的pytorch和torchvision包，可以去pytorch官网查询。

因为我的cuda版本是11.0，支持的pytorch版本为1.7.1，所以我安装的是这俩个，你可以根据你的需要安装。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0

如果此时报错，出现以下错误：

那么，我们如此做
问题原因：这是conda的一个bug，如果之前使用了URL 或路径安装软件包，再用conda install xxx就会报错，详见​编辑 网页链接
解决方法：加上--solver classic（使用经典求解器，不用libmamba）

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 --solver classic

检查一下是否有安装成果：

先在虚拟环境中输入python

导入pytorch包，查看版本

import torch 
torch.__version__(此处是双下划线)

导入torchvision包，查看版本

import torchvision
torchvision.__version__

测试cuda版本

查询cuda版本

装好pytorch后，命令行输入python，进入python的命令行，导入torch包

记得虚拟环境中区别一下python，要检查是否安装成功一般都先输入python，然后用python语言检查版本（主要很多小白啊，还是要讲仔细一点）。

print(torch.version.cuda)

查询cudnn版本

print(torch.backends.cudnn.version())

结果：

如此便大功告成，很简答的！如果还不会，评论区找我