Ubuntu20.04下配置深度学习环境

---

一、安装Anaconda

1.安装Anaconda

Anaconda是一个软件发行版，包含了python和数百个第三方开源项目的二进制文件，如conda、numpy、scipy、ipython等。利用Anaconda配置深度学习环境，能方便安装各个流行框架，如tensorflow、pytorch等，可以解决不同版本的兼容性问题。
Anaconda官方下载链接: https://www.anaconda.com/products/individual [注：下载速度挺快的，不用找镜像下载]

下载后的文件为Anaconda3-2021.11-Linux-x86_64.sh，在终端输入以下命令安装：

$bash Anaconda3-2021.11-Linux-x86_64.sh

一直按回车键，直到出现“Do you accept the license terms”, 输入“yes”，

出现“Anaconda3 will now be installed into this location: /home/xxx/anaconda3”，直接按回车键，安装在该目录中。

出现“Do you wish the installer to initialize Anaconda3 by running condo init?”, 输入“yes”后自动添加环境变量。

至此安装完成。

2.区分ubuntu系统中自带的python与Anaconda中带的python

Ubuntu20.04中自带python3(本机上的版本是python3.8.10)，在终端输入conda list命令，可看到上步安装的Anaconda中的python版本是python3.9.7。

ubuntu操作系统一般将 bash 作为默认的终端 shell，为了加载用户首选项，bash 在每次启动时都会自动载入 .bashrc 配置文件中的内容，这个 .bashrc 隐藏配置文件可以在每个用户的主目录中找到，它用于保存和加载不同用户的终端首选项和环境变量。

在终端输入命令：

$sudo gedit ~/.bashrc     //~代表的当前用户的home目录,.bashrc是文件名,~/.bashrc是绝对路径，这样就可以在任何位置打开这个文件

在.bashrc末尾添加以下内容：

alias python3="/usr/bin/python3.8"     #alias python come with ubuntu as python3
export PATH="/home/xxx/anaconda3/bin:$PATH" #add environment variables

在终端输入以下命令，使修改过的.bashrc文件生效。

$source ~/.bashrc

测试一下上述的区分，在终端输入python，应该启动Anaconda中的python；在终端输入python3，应该启动ubuntu自带的python。

3.创建一个深度学习环境

$conda create -n pytorch1.10 python=3.9  //pytorch1.10是自己命的环境名，python版本对应Anaconda中的python
$conda env list                //查看创建的环境
$conda activate pytorch1.10   //激活创建的环境
$conda deactivate              //关闭环境

二、安装cuda与cudnn

Nvidia的GPU需要使用cuda，cuda是一个与GPU硬件相配对的软件平台，基于此，开发者可以用GPU的并行处理能力加速计算。cudnn是基于CUDA的深度学习GPU加速库。

1.下载cuda

安装的cuda版本需要与本机的显卡驱动适配，cuda与显卡驱动的对应关系如下图：

本机的显卡驱动版本是495.46，在pytorch官网上可看到最新的pytorch支持的cuda版本是11.3，因此下载这个版本的cuda，官方下载网址： https://developer.nvidia.com/cuda-toolkit-archive
[注：下载速度挺快的，不用找镜像下载]

下载的文件是cuda_11.3.0_465.19.01_linux.run。

2.安装cuda

在终端运行下列语句：

$ conda activate pytorch1.10  //激活上节创建的虚拟环境
$ sudo sh cuda_11.3.0_465.19.01_linux.run //输入完语句后不要着急，稍微等一两分钟

在安装过程中：

“Do you accept the above EULA?”，输入accept。

然后将Driver前面的选项按回车，去掉；其他的保持不动，选择“Install”，稍等几分钟就装好了。

3.配置cuda

打开.bashrc 配置文件：

$sudo gedit ~/.bashrc    

在末尾加入以下语句：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.3/lib64
export PATH=$PATH:/usr/local/cuda-11.3/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-11.3

使修改的.bashrc 配置文件生效：

$source ~/.bashrc 

配置完检查：

$nvcc --version

若出现以下界面，说明cuda安装成功。

4.下载和安装cudnn

在Nvidia官网下载cudnn文件时比较麻烦，需要先注册一个Nvidia账号。折腾了很久，总是在注册的最后一步失败，无奈只能“曲线救国”。
在win10系统下，进入cudnn官方下载网址 https://developer.nvidia.com/rdp/cudnn-archive

复制下载链接，用迅雷下载，下载的包为cudnn-11.3-linux-x64-v8.2.1.32.tgz。
可参考这篇博客不注册Nvidia账号下载cuDNN的方法 https://blog.csdn.net/m0_51311126/article/details/121355154?spm=1001.2014.3001.5506

解压缩tgz文件，解压出cuda文件夹。

$tar -zxvf cudnn-11.3-linux-x64-v8.2.1.32.tgz

记得在创建的虚拟环境中进行：

$conda activate pytorch1.10

执行下面操作：

$sudo cp cuda/include/cudnn*.h /usr/local/cuda/include/ 
$sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ 
$sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

许多教程是输入这条语句“cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2”有正确显示则安装成功，但我的机子上没有任何显示，决定在安装了深度学习框架后再测试。

三、安装pytorch

打开pytorch官网 https://pytorch.org/，选择最新版本。
在终端首先进入虚拟环境，

$conda activate pytorch1.10

然后在终端输入上图红色框中的语句，很快就可以安装完成。

最后输入以下语句进行验证：

$python                       //运行python  
$import torch                 //导入torch模块,这里应该没有任何输出
$torch.cuda.is_available()    //输出True则安装成功
$exit()                       //退出python
$conda deactivate             //退出虚拟环境

四、安装pycharm

1.下载pycharm

打开pycharm官方网站 https://www.jetbrains.com/pycharm/download/#section=linux，选择community版下载，下载的文件是pycharm-community-2021.3.1.tar.gz，解压缩。

2.安装pycharm

$conda activate pytorch1.10             //激活虚拟环境
$cd pycharm-community-2021.3.1/bin
$./pycharm.sh          

按照提示一步步安装完，先按照默认配置新建个工程，编译器选择默认的新建个Virtualenv Environment，就可以看到Pycharm的主界面了，python编译配置按下节步骤再更改。

3.在pycharm中配置pytorch环境

打开上节新创建的工程，按照上图中红色框标出的步骤，编译环境的选择中，可以选择现存的环境Conda，解释器(Interpreter)选择anaconda3下envs中的pytorch1.10环境下的python解释器，点击OK。

测试配置环境：
创建好一个工程文件后，新建一个python文件，在其中输入

import torch
print(torch.cuda.is_available())

运行，如果没有报错，且第二条程序返回结果为True，则说明环境配置成功，且可以正常使用pytorch和GPU。

创建pycharm快捷方式:
1）在/usr/share/applications创建一个文件：pycharm.desktop

$cd /usr/share/applications
$sudo gedit pycharm.desktop

2）编辑这个文件，添加以下内容

[Desktop Entry]
Version=1.0
Type=Application
Name=Pycharm
Icon=/home/xxx/software/pycharm-community-2021.3.1/bin/pycharm.png
Exec=sh /home/xxx/software/pycharm-community-2021.3.1/bin/pycharm.sh
MimeType=application/x-py;
Name[en_US]=pycharm

注：Icon和Exec里包含的是绝对路径。

点击ubuntu20.04左下角Show Applications按钮，搜索pycharm，即可找到此软件。

五、安装tensorflow

创建新的tensorflow的环境

$conda create -n tensorflow python=3.9    //3.9是你的anaconda中python的版本
$conda activate tensorflow                //激活虚拟环境

进入tensorflow官网（gpu版）https://tensorflow.google.cn/install/gpu

根据指导，在终端输入以下语句安装tensorflow

$pip install tensorflow

测试tensorflow是否安装成功

$python                            //运行python
$import tensorflow as tf            
$print(tf.test.is_gpu_available()) //最后得到True表示tensorflow-gpu版安装完成

$conda deactivate    //退出虚拟环境

参考

Ubuntu20.04下深度学习环境配置（持续维护） https://blog.csdn.net/m0_37412775/article/details/109355044