姊妹篇:Windows/Linux安装PyTorch并实现多分类任务
安装Tensorflow
前言
配编程环境考察的是利用搜索引擎的能力。在配环境时,应该多参考几篇文章。有英文阅读能力的应该去参考官方给的配置教程。出了问题把问题的出错信息放到搜索引擎上去查。一般多踩几次坑,多花点时间,环境总能配好。
本文只能给出一个大概率可行的指导,不能覆盖所有情况。如果在执行本文的安装步骤时出了问题,请灵活使用搜索引擎。
配置深度学习编程框架时,强烈推荐配置GPU版本。本文会介绍TensorFlow GPU版本的配置。如果只想用CPU版本的话,跳过“CUDA与cuDNN”一节即可。
本文会同时介绍Windows和Linux下的安装方法。二者操作有区别的地方本文会特别强调,若没有强调则默认二者处理方法一致。
CUDA与cuDNN
CUDA是NVIDIA显卡的GPU编程语言。cuDNN是基于CUDA编写的GPU深度学习编程库。在使用深度学习编程框架时,我们一般都要装好CUDA和cuDNN。
这个安装步骤主要分三步:
- 装显卡驱动
- 装CUDA
- 装cuDNN
其中,显卡驱动一般不需要手动安装,尤其是在自带了NVIDIA显卡的Windows电脑上。
显卡驱动
用nvidia-smi
查看电脑的CUDA驱动最高支持版本。下图标出了命令运行成功后该信息所在位置:
如果命令能成功运行,记住这个信息。
如果这个命令失败了,就说明电脑需要重新安装显卡驱动。现在(2022年)CUDA的主流版本都是11.x,如果你发现驱动支持的最高版本偏低,也可以按照下面的步骤重新安装显卡驱动。
访问NVIDIA驱动官网:https://www.nvidia.cn/geforce/drivers/ 。在网站上,输入显卡型号和操作系统等信息,即可找到对应的驱动安装程序。
对于Windows,下载的是一个有GUI的安装器;对于Linux,下载的是一个shell脚本。如果你用的是Linux服务器,没有图形接口,可以先复制好下载链接,之后用wget
下载脚本。
之后,运行安装器,按照指引即可完成驱动的安装。
注意,如果是带图形界面的Linux系统,可能要关闭图像界面再安装驱动。比如对于Ubuntu,一般要关闭nouveau再重启。请参考 https://zhuanlan.zhihu.com/p/59618999 等专门介绍Ubuntu显卡驱动安装的文章。
能够执行nvidia-smi
后,执行该命令,找到驱动支持的最高CUDA版本。
CUDA
首先,我们要定一个CUDA安装版本。
CUDA安装版本的第一个限制是,该版本不能大于刚刚在nvidia-smi
中获取的最高CUDA版本。
第二个限制是,TensorFlow版本必须支持当前CUDA版本。在 https://www.tensorflow.org/install/source#gpu 中,可以找到TensorFlow与CUDA、cuDNN的版本对应表。这个表格仅表示了经过测试的CUDA版本,不代表其他CUDA版本就一定不行。
由于开发环境中可能会安装多个编程框架(TensorFlow,PyTorch),建议先安装一个比较常用、版本较高的CUDA,比如CUDA 11.1,11.2之类的。之后,让编程框架向CUDA版本妥协。
如果之后安装TensorFlow后发现CUDA版本不对应,可以尝试升级TensorFlow版本。如果TensorFlow实在是支持不了当前的CUDA版本,最后再考虑降级当前的CUDA版本。
选好了CUDA版本后,去 https://developer.nvidia.com/cuda-toolkit-archive 上下载CUDA安装器。同样,Windows和Linux分别会得到GUI安装器和shell脚本。
装完CUDA后,再控制台上输入nvcc -V
。nvcc
是CUDA专用的编译器,-V
用于查询版本。如果这个命令能够运行,就说明CUDA已经装好了。以下是nvcc -V
的输出:
cuDNN
打开下载网站 https://developer.nvidia.com/rdp/cudnn-download (最新版本) 或 https://developer.nvidia.com/rdp/cudnn-archive (历史版本)。注册账号并登录。
根据CUDA版本,找到合适版本的cuDNN。https://docs.nvidia.com/deeplearning/cudnn/archives/index.html 这个网站列出了每个cuDNN版本支持的CUDA版本(Support Matrix)。一般来说,可以去找最新的cuDNN,看它是否兼容当前的CUDA版本。如果不行,再考虑降级cuDNN。一般来说,CUDA 11.x 的兼容性都很好。
选好了cuDNN版本后,去上面的下载网站上下载最新或某个历史版本的cuDNN。注意,应该下载一个压缩文件,而不应该下载一个可执行文件。比如对于所有的Linux系统,都应该下载"xxx for Linux x86_64 (Tar)"
装CUDA和cuDNN,主要的目的是把它们的动态库放进环境变量里,把头文件放到系统头文件目录变量里。因此,下一步,我们要把cuDNN的文件放到系统能够找到的地方。由于CUDA的库目录、包含目录都会在安装时自动设置好,一种简单的配置方法是把cuDNN的文件放到CUDA的对应目录里。
对于Windows,我们要找到CUDA的安装目录,比如C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2
。再找到刚刚cuDNN解压后的目录,比如D:\Download\cudnn-11.1-windows-x64-v8.0.4.30\cuda
。把cuDNN目录下bin、include、lib里的文件分别复制到CUDA目录的对应文件夹中。
对于Linux,CUDA的安装目录一般是/usr/local/cuda
。再找到cuDNN的解压目录,比如~/Downloads/cudnn-linux-x86_64-8.4.0.27_cuda11.6-archive
。切换到cuDNN的根目录下,输入类似下面的命令:
sudo cp include/* /usr/local/cuda/include
sudo cp lib/lib* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/*
sudo chmod a+r /usr/local/cuda/lib64/lib*
该命令用于把所有cuDNN的相关文件暴力复制到cuda的对应目录下,并修改它们的访问权限。一定要注意一下该命令中的路径,如果路径不对应的话要修改上述命令,比如有些cuDNN的库目录不叫lib
而叫lib64
。
如果大家对操作系统熟悉的话,可以灵活地把复制改为剪切或者软链接。
Anaconda
Anaconda可以让用户更好地管理Python包。反正大家都在用,我也一直在用。
无论是什么操作系统,都可以在这里下Anaconda:
https://www.anaconda.com/products/individual#Downloads
同样,Windows和Linux分别会得到GUI安装器和shell脚本。
下好了安装器后,按照默认配置安装即可。
安装完成后,下一步是打开有Anaconda环境的控制台。
在Windows下,点击任务栏中的搜索框,搜索Anaconda,打开Anaconda Powershell Prompt (Anaconda)
或者Anaconda Prompt (Anaconda)
。
在Linux下,新建一个命令行即可。
如果在命令行里看到了(base)
,就说明安装成功了。
之后,要创建某个Python版本的虚拟环境,专门放我们用来做深度学习的Python库。该命令如下:
conda create --name {
env_name} python={
version}
比如我要创建一个名字叫pt
,Python版本3.7的虚拟环境:
conda create --name pt python=3.7
创建完成后,使用下面的命令进入虚拟环境:
conda activate {
env_name}
我的命令是:
conda activate pt
如果在命令行前面看到了({env_name})
,就算是成功了:
完成上述步骤后,在VSCode里用
ctrl+shift+p
打开命令面板,输入select interpreter
,找到Python: Select Interpreter
这个选项,选择刚刚新建好的虚拟环境中的Python解释器。这样,新建VSCode的控制台时,控制台就能自动进入到conda虚拟环境里了。
TensorFlow
无论是GPU版还是CPU版,只需要在对应的虚拟环境中输入下面的命令即可:
pip install tensorflow
如果下载速度较慢,请更换conda和pip的下载源。可参考的教程很多,比如 https://blog.csdn.net/u011935830/article/details/10307 95。
如果显卡驱动和conda都装好了,执行完上面的命令后,GPU版TensorFlow也就装好了。打开Python,执行下面的命令(或者写一个.py
文件再运行),即可验证GPU版安装是否成功。
import tensorflow as tf
tf.config.list_physical_devices('GPU'