一、pytorch的介绍及安装
文章目录
1.1 pytorch的介绍
PyTorch是一个开源的深度学习框架,用于构建、训练和部署深度神经网络。它由Facebook的人工智能研究小组开发并维护,旨在提供灵活性和性能,使研究人员和开发人员能够轻松地创建各种深度学习模型。
1.2 pytorch的安装
"Stable"代表当前测试和支持的PyTorch版本,通常适合大多数用户。如果需要每晚生成的最新版本(尚未经过完全测试和支持),您可以选择使用预览版。在安装之前,请确保您已满足先决条件,如安装所需的依赖项(具体要求取决于您的包管理器)。推荐使用Conda作为包管理器,因为它可以管理所有依赖项。另外,如果需要,您还可以安装以前版本的PyTorch。需要注意的是,LibTorch仅适用于C++编程。
这里仅介绍自己使用的Window11+3060显卡的安装思路:
1.2.1 Anaconda的安装
Anaconda附带了一个名为Conda的强大包管理器,它允许用户轻松安装、更新和删除软件包,以及创建和管理多个独立的Python环境。这使得不同项目可以使用不同的库和工具,而不会互相干扰。
官网地址:Anaconda | The World’s Most Popular Data Science Platform
清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
可以直接根据下列教程安装:
Anaconda超详细安装教程(Windows环境下)_conda安装-CSDN博客
输入conda info,如果出现conda信息,则可以进行下一步操作:
这里最好更改一下conda源,后续如果采用conda安装的话,速度会更快一点:
清华源:
在cmd 命令行中,输入添加以下命令
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
查看源:conda config --show,出现下面的内容即成功:
1.2.2 pytorch安装环境搭建
这里有两种创建环境的办法,命令行或者直接anaconda图形化界面
- 方法一:命令行安装:
在终端输入:
#conda create -n [环境名称] python=[python版本]
conda create -n pytorch python=3.6
询问是否安装下列包,输入y确认:
安装完成后会显示如何激活该环境:
#conda activate [环境名称]
conda activate pytorch
#关闭当前激活的环境
conda deactivate
激活成功后左侧括号会有该环境的名称:
输入pip list可以查看当前环境安装的包:
-
方法二:Anaconda Navigator安装
在电脑找到安装好的anaconda navigator软件:
点击create即可,如果已经存在相同名称的环境,create键是灰色的
1.2.3 cuda的安装
CUDA(Compute Unified Device Architecture)是由NVIDIA开发的并行计算平台和应用程序编程接口(API)。它允许开发人员利用NVIDIA的GPU(图形处理单元)进行高性能的通用并行计算。CUDA的主要功能包括以下几个方面:
- 通用并行计算: CUDA最初是为了图形处理而设计的,但后来被扩展成一种通用的并行计算平台。它允许开发人员使用GPU执行各种计算任务,包括科学计算、深度学习、数据分析、物理模拟等。
- 并行性: GPU具有大量的小型处理单元(称为CUDA核心),可以并行执行许多计算任务。这种并行性使得GPU在某些类型的任务上能够显著加速计算,特别是对于需要大量数据并行处理的任务。
- CUDA编程模型: CUDA提供了一种基于C/C++编程语言的编程模型,允许开发人员编写CUDA核函数,这些函数可以在GPU上执行。开发人员可以使用CUDA编程模型来管理数据传输、内存分配和并行计算。
- GPU计算库: NVIDIA提供了一系列GPU计算库,如cuBLAS(用于线性代数计算)、cuDNN(用于深度学习)、cuFFT(用于快速傅立叶变换)等,这些库可以加速常见的计算任务,而无需开发人员自行编写CUDA核函数。
- 深度学习加速: CUDA在深度学习领域尤为重要。深度学习模型通常需要大量的矩阵和张量计算,而GPU通过并行计算能够显著加速这些计算。因此,几乎所有主要的深度学习框架,如TensorFlow和PyTorch,都支持CUDA以便在GPU上运行。
在安装之前呢,我们需要确定三件事
- 查看显卡支持的最高CUDA的版本,以便下载对应的CUDA安装包
- 查看对应CUDA对应的VS版本,以便下载并安装对应的VS版本(vs需要先安装)
- 确定CUDA版本对应的cuDNN版本,这个其实不用太关注,因为在cudnn的下载页面会列出每个版本对应的cuda版本,11.x以上对应的范围很宽
首先win+r打开电脑的CMD
在终端输入nvidia-smi,右上角会显示显卡最大支持的cuda version版本,但是下载的时候根据自己需要的版本来。cuda和pytorch的版本有对应的关系,高版本cuda只能安装高版本pytorch,有些包或者函数的名称可能不一样,用别人的代码可能会报错,尽量选择和自己项目相近的版本。
下载cuda:cuDNN Archive | NVIDIA Developer
安装的时候其他默认,这个地方注意一下,没安装vs的话把这里勾选上:
检查安装是否成功,打开cmd输入nvcc -v:
1.2.4 cuDNN安装
cuDNN(CUDA Deep Neural Network Library)是NVIDIA开发的深度学习库,专门用于加速深度神经网络(DNN)的训练和推理过程。cuDNN是基于CUDA平台的,旨在充分利用NVIDIA GPU的并行计算能力,从而显著提高深度学习任务的性能。
根据自己的cuda版本下载对应的cuDNN:cuDNN Archive | NVIDIA Developer
下载需要NVIDIA开发者账号,就按照提示注册一个就好,再登录即可下载了
下载下来是个压缩包,直接解压缩,完成后点击去你能看到如下三个文件夹(bin、include、lib):
把这三个文件夹的文件分别拷贝到CUDA安装目录对应的(bin、include、lib)文件夹中即可。CUDA的lib目录有x64 、Win32、cmake三个文件夹,拷到其中的x64这个文件夹中
1.2.5 pytorch安装
在这个网站下载所有版本的pytorch:Previous PyTorch Versions | PyTorch
可以通过conda和pip两种命令安装,结果一样,哪个快就用哪个
#以pytorch2.0举例
#---------conda安装--------------
## CUDA 11.7(跟自己的cuda版本对应上)
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia
# CUDA 11.8
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.8 -c pytorch -c nvidia
# CPU Only(如果没有gpu或者不使用cpu)
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 cpuonly -c pytorch
#-------pip安装------------------
#选择对应的torch、torchvision、torchaudio即可
pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1
注:pytorch1.1版本以后才支持tensorboard,选择1.1版本以上的,一般Windows下推荐conda,linux下推荐pip。遇到网络问题可以先从换源或者使用手机热点解决。
选择好后打开cmd,输入以下:
#打开自己创建的pytorch环境
conda activate pytorch
#复制粘贴上面选择的pytorch安装命令(我这里安装的是cuda11.7,选择的pytorch是2.0版本,python3.8)
conda install pytorch==2.0.0 torchvision==0.15.0 torchaudio==2.0.0 pytorch-cuda=11.7 -c pytorch -c nvidia
如果安装较新的cuda及pytorch,python版本要选择3.8及以上,不然会安装失败
检验是否安装成功:
#在pytorch安装环境下打开python
python
#输入import torch,不报错即成功
import torch
#输入torch.cuda.is_available(),返回true即成功调用GPU
torch.cuda.is_available()
如下:
二、VScode开发环境配置
vscode下载:Download Visual Studio Code - Mac, Linux, Windows
下载后直接默认安装就行
汉化:
在vscode新建工作区并打开,创建一个新文件jupyter_test.py
快捷键 ctrl+` 打开vscode的终端,输入conda activate pytorch激活pytorch终端环境
在终端输入:
#安装jupyter
conda install nb_conda
#打开jupter,输入下面指令即在默认浏览器打开jupyter
jupyter notebook
输入下面指令,并shift+enter,查看是否成功导入开发环境