GPU启用及Pytorch/Cuda安装

最近在跑神经网络,用CPU跑实在是太慢了,于是决定探究一下怎么用GPU跑,配置GPU环境的过程异常艰辛,为此还阅读几十篇CSDN+知乎优秀博主的优质论文,最后终于整出来了,现在我总结一下就当做个备忘录吧。以下内容引用了很多博主的博客内容,如有侵权,立刻删除。

一、安装python

从https://www.python.org/进入python官网,找到下图所示的下载按钮进入下载界面:
在这里插入图片描述

可以在下方找到“all releases”来下载更多版本的python。
当电脑装载多版本python时,可以在DOS命令框通过“python -版本号”的方式切换python环境,要想改变默认python版本,应当在系统环境变量控制面板path变量中增加需要的python默认版本(defult)文件路径。具体操作步骤如下:
1.进入“高级系统设置”面板
在这里插入图片描述
2.点击“环境变量”进入环境变量设置界面
在这里插入图片描述
3.编辑环境变量
根据需求可以选择改变用户变量或者系统变量,一般选择改变系统变量。在系统变量中找到Path一栏,点击“编辑”,可以看到最下面已经添加的两种python版本,如果没有,则需要人为添加,添加的方式为点击右边的“新建”按钮,将每种版本的python安装路径复制进去。
在这里插入图片描述
4.修改默认python版本
只需要将想要的python版本路径移到其他版本路径上方即可。
5.结果展示
按照上方的编辑结果,用cmd打开系统dos命令框,输入“python”指令便可看到系统默认的python版本为3.10.2
在这里插入图片描述

二、安装pycharm

PyCharm是一种Python IDE(Integrated Development Environment,集成开发环境),带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具。其下载链接为:https://www.jetbrains.com/pycharm/download/#section=windows;下载社区版即可。
一般来说从pycharm中下载的包都存放在“python安装根目录/Lib/site-packages/”目录下,这点可以之后在pycharm中下载包的时候找到包的地址。

三、安装或更新Nvidia驱动版本

(若版本足够请直接跳过此步骤)
安装cuda前应当确定cuda的版本,以及计算机的Nvidia驱动版本,若Nvidia驱动版本过低将无法带动cuda运行,可以由如下两种方式查看Nvidia/cuda版本:
【引用出处:https://blog.csdn.net/weixin_39450145/article/details/125036484

3.1 确定版本驱动

方式一:通过Nvidia控制面板查看
1.在电脑桌面鼠标右击选择Nvidia控制面板,如下所示:
在这里插入图片描述
2.选择左上方帮助界面中的“系统信息”;
3.选择“组件”,在NVCUDA.DLL一栏可以查看CUDA驱动信息,下图中划横线的即为系统现有的CUDA版本。
在这里插入图片描述
方式二:通过系统cmd命令查看
通过“win+R”快捷键并输入“cmd”命令进入系统命令框,键入“nvidia-smi”即可查看Nvidia及CUDA版本信息:
在这里插入图片描述

3.2 安装驱动

确定完驱动版本后可以直接去Nvidia官网下载相应版本的驱动,这里附上官网链接:
https://www.nvidia.com/Download/index.aspx?lang=en-us
在该界面设定好对应自己电脑的驱动参数后即可下载驱动安装包,我的电脑所需安装配置如下:
在这里插入图片描述
下载完安装包直接安装即可,但记住需要装在C盘。

四、安装cuda

CUDA的下载有其他大量且优质的帖,故不在此详述。为了大家顺利进行下一步,我把其中一位优质博主的链接分享放在下面,大家有需自取:
【引用出处1:https://blog.csdn.net/weixin_44177494/article/details/120444922
【引用出处2:https://blog.csdn.net/David_house/article/details/125314103
另外附上Nvidia官网的cuda下载地址:https://developer.nvidia.com/cuda-downloads
以上网址打开会费点时间,大家耐心等待即可。
下载后的CUDA安装包应该会在2个G以上,大家下载完后直接安装在C盘即可。

五、下载cudnn

cudnn是一个计算库,安装过程是将下载的文件解压出来后,按对应文件夹将内容复制到cuda安装路径的对应文件夹下的,所以去cuda安装路径的对应文件夹那里看一眼就行,默认安装路径的话分别是’C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin’和’C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\lib\x64’,有没有一系列名字带有cudnn的文件存在,如果有的话应该就是装过了。没有的话直接去Nvidia官网下载cuda对应版本的cudnn,注意一定要是对应的版本,同样附上链接:https://developer.nvidia.com/rdp/cudnn-download
【引用出处:https://blog.csdn.net/weixin_52492249/article/details/121985047
点进去同样很慢,并且这个需要注册并登录账户才能下载,但不会费太多的时间。
下载完cudnn压缩包后解压,解压后的文件一般如下图所示:
在这里插入图片描述
将前三个文件复制到刚刚CUDA的安装地址,如果是默认安装的话地址一般为:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\,这里注意,需要将每个文件内部的所有文件全部迁移到上面目录对应文件夹下,这样以来,cuda+cudnn就安装完了。

六、安装pytorch

【引用出处:https://zhuanlan.zhihu.com/p/424837529,是一位大佬的帖子】
这一步非常重要,可以说大家启用GPU失败的原因都在这里,pytorch的安装可以去pytorch官网【https://pytorch.org/】直接复制对应的命令语句安装,如下图所示:
在这里插入图片描述
按照自己的系统要求选择完对应的参数后复制下方的“Run this Command”语句去系统命令框执行便可直接安装pytorch,但如果这么做的话安装速度会非常非常非常慢,最后即使你安装完了运行后发现还是没能成功启用GPU,故这种方式不行,后续如果成功了我继续补上。
那应该怎么办呢,在网上找了许久后我发现了一些博主找到了一个非常万能的GPU本本torch下载链接,从该链接中下载需要的GPU版本torch到本地,再通过pip指令安装即可,这里附上这个万能下载库网址:https://download.pytorch.org/whl/torch_stable.html,再寻找自己需要的torch包下载即可,这里附上对应我自己电脑包的图:
在这里插入图片描述
然后再解释一下这些链接的命名规则:
1.最前面的’cu113’指的是支持11.3版本的cuda,同理’cu101’就是支持10.3版本的cuda。看到的最低的cuda版本是10.0,低于10.0版本cuda对应的pytorch安装包可能存放在其他地方,或者不提供支持了。如果是’cpu’则说明是cpu版本的包,不适配gpu。
2.cuda版本号后的’/‘和’%'之间的是包的内容和版本,比如torch-1.10.0就是1.10.0版本的torch,这个很容易理解。
3.紧接着的’cu113’和前面是一个意思,表示支持的cuda版本,‘cp3x’则表示支持的Python版本是3.x,如果是由于我安装的是Python 3.9.10,因此我选择的是cp39的包。
4.最后面的’Linux_x86_64’和’win_amd64’就很简单了,Linux版本就选前一个,Windows版本就选后一个,MacOS的就不知道了,可能也是后一个(哈哈哈哈)。
将torch下载下来后就可以用pip进行安装了,指令就是’pip install D:\DownloadData\MyDownload\torch-1.11.0+cu113-cp39-cp39-win_amd64.whl’,后面的路径换成你下载到的文件夹即可。
做完以上的步骤后,应该就能使用GPU跑网络程序了,但以防万一还是需要测试以下的,可以拿pycharm来测试,具体的代码图片如下:
在这里插入图片描述
若结果为“True”,则证明安装成功。

<think>好的,我现在需要帮助用户了解如何安装和部署PyTorch和Hugging Face库。首先,我得回顾用户的问题,确保我理解正确。用户明确提到想要安装和部署这两个库,所以我的回答需要涵盖安装步骤、环境配置、部署方法以及验证安装是否成功的步骤。 首先,我应该参考用户提供的引用内容。引用[2]提到PyTorch安装命令是pip install pytorchvideo,但需要注意Python版本、PyTorch版本以及CUDA的要求。不过,这可能是指PyTorch Video库,而不是PyTorch本身。所以,正确的PyTorch安装可能需要访问官方网站,引用[1]中的PyTorch官方网站链接可能会有用。用户需要安装的是PyTorch和Hugging Face Transformers,所以应该分开说明两者的安装步骤。 接下来,引用[3]提到了安装PyTorch的命令是pip install torch torchvision,这应该是正确的。同时,Hugging Face Transformers库可以通过pip install transformers安装。我需要确保用户知道如何安装这些库,并且检查他们的Python版本是否符合要求。例如,Python 3.7或更高版本,PyTorch版本需要与CUDA匹配,如果用户使用GPU的话。 然后,关于环境配置,用户可能需要了解如何选择CPU或GPU版本。PyTorch官网提供了不同配置的安装命令,比如CUDA版本的选择。这里需要引导用户到官网选择适合自己的命令,或者给出常见的安装示例,如pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118,适用于CUDA 11.8。 安装完成后,验证安装是否正确。对于PyTorch,可以检查版本和CUDA是否可用,如使用torch.__version__和torch.cuda.is_available()。对于Hugging Face,可以尝试导入transformers并加载一个预训练模型,比如BERT,如引用[3]中的示例,但可能需要调整代码。 关于模型部署,引用[2]提到PyTorch的生态和模型部署,可能需要使用TorchScript或ONNX进行模型导出。这里需要简单说明如何将模型转换为TorchScript,或者使用Hugging Face的Pipeline进行快速推理。例如,使用pipeline('text-classification')来快速测试模型。 另外,用户可能遇到的常见问题包括版本不兼容、CUDA驱动问题,或者依赖项缺失。例如,引用[2]提到需要安装ioPath和fvcore,这些可能是PyTorch Video的依赖,但Hugging Face Transformers可能需要其他库,如datasets或tokenizers。需要提醒用户根据错误信息安装相应的依赖。 最后,考虑到用户可能是初学者,引用[4]提到PyTorch和TensorFlow的选择,但用户已经选择PyTorch和Hugging Face,所以不需要深入比较,但可以提到这些库的社区支持和资源,如引用[1]中的教程链接,帮助用户进一步学习。 现在需要组织这些信息,分步骤说明安装和部署过程,确保清晰易懂。同时,生成相关问题,可能涉及性能优化、模型应用场景、常见错误解决等。</think>### PyTorch和Hugging Face库安装与部署指南 #### 一、安装步骤 1. **安装PyTorch** - **通过pip安装**(推荐): ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # CUDA 11.8版本 ``` 若需CPU版本: ```bash pip3 install torch torchvision torchaudio --cpu # CPU专用 ``` 安装后验证: ```python import torch print(torch.__version__) # 查看版本,如2.1.0 print(torch.cuda.is_available()) # 输出True表示GPU可用[^2] ``` 2. **安装Hugging Face Transformers** ```bash pip install transformers datasets # 包含常用NLP工具和数据集 ``` 验证安装: ```python from transformers import pipeline classifier = pipeline('text-classification', model='bert-base-uncased') print(classifier("I love PyTorch!")) # 输出分类结果[^1] ``` --- #### 二、环境配置要点 - **Python版本要求**:Python ≥3.7(建议3.8+)[^2] - **硬件依赖**: - GPU用户需确保CUDA版本匹配(如CUDA 11.x对应PyTorch 2.x) - 通过`nvidia-smi`命令查看驱动兼容性 - **依赖库**: ```bash pip install numpy pandas tqdm # 常用科学计算库 pip install fvcore iopath # 视频处理等扩展功能[^2] ``` --- #### 三、模型部署实践 1. **使用Hugging Face Pipeline快速部署** ```python from transformers import pipeline summarizer = pipeline("summarization", model="facebook/bart-large-cnn") result = summarizer("Your long text here...", max_length=130) print(result[0]['summary_text']) ``` 2. **导出为生产格式** - **TorchScript格式**(PyTorch原生): ```python model = torch.jit.script(model) # 动态图转静态 torch.jit.save(model, "model.pt") ``` - **ONNX格式**(跨框架兼容): ```python torch.onnx.export(model, dummy_input, "model.onnx") ``` --- #### 四、常见问题解决 - **CUDA不可用**:检查PyTorch版本与CUDA驱动是否匹配,重新安装对应版本[^2] - **缺少依赖项**:根据错误提示安装`tokenizers`、`accelerate`等子库 - **内存不足**:使用`.half()`进行FP16量化或启用梯度检查点 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值