动手学习深度学习——开发环境配置

1、系统环境

  Window，Ubuntu系统安装，系统基础软件安装等， 待更新 。。。。毕竟本博文的重点是配置深度学习的开发环境。

1.1 下载 CUDA-10.2

cuda下载地址：https://developer.nvidia.com/cuda-toolkit-archive. 进入下载页面后，根据自己的需求选择合适的cuda版本，如下图所示：

点击相应的版本进入如下页面，根据系统和安装方式，选择下载的具体版本，

官网给的下载命令如下：

1.2 安装 CUDA-10.2

运行命令：sudo sh cuda_10.2.89_440.33.01_linux.run
选择【Continue】

输入【accept】，如下图所示

回车后，进入下面的界面，安装的第一项内容是驱动，【440.33.01】是cuda10.2最低版本的驱动，由于我们安装cuda前，已经安装过驱动，可以去掉该项安装。具体操作：移动到 [X] Driver，Enter即可。如下图所示，已经去掉了该选项，

然后，切换到install，Enter，进入下面的界面。由于之前系统已经安装了 cuda10.0，所以出现下面的表述，选择yes，或者no都可以，这里为了避免安装完成后继续修改软链接，因此，选yes。

安装完成后，出现如下界面，

安装cudnn，下载地址：https://developer.nvidia.cn/rdp/cudnn-archive，如下图，选择与cuda10.2匹配的版本，下载红框中的压缩包即可：

解压文件后，执行下面的命令，

sudo cp cuda/include/cudnn.h /usr/local/cuda-10.2/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.2/lib64
sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h 
sudo chmod a+r /usr/local/cuda-10.2/lib64/libcudnn*

系统中，添加cuda10.2的环境变量，

vim ~/.bashrc

添加红色框内的命令，

然后激活环境变量

source  ~/.bashrc

验证nvcc的版本，如图所示，已经不是之前的cuda10.0

1.3 验证cuda安装

进入/usr/local/cuda-10.1/samples/1_Utilities/目录，

cd  deviceQuery
sudo make
./deviceQuery

输出如下，表示安装成功

2、 基础软件

  对于基于 Python 的开发环境，我基本是用 Anaconda+Pycharm（或者VSCode）的软件组合，其中 Anaconda 作为 Python 软件包管理软件， Pycharm、VSCode 作为 Python 集成开发软件。注意，本篇博文主要介绍深度学习开发环境的安装和配置，能够基本满足深度学习的开发需求。至于软件本身的一些其它功能，不是本博文的主要目标。无论是新手小白，或者有经验的AI从业者，快速配置基本环境，进行项目学习或者开发才是最重要的。

2.1 Anaconda

   Anaconda 包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等。conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换。每个虚拟环境之间相互隔离，不受影响。

  对于从事 Python 以及人工智能领域的开发人员来说，应该会经常使用 Anaconda 软件。该软件本身就是一个功能丰富的 Python 集成开发环境，特别是对于软件包的安装，管理都非常方便。本人通常将 Anaconda 作为深度学习环境的管理软件，比如创建虚拟环境，安装不同版本的Tensorflow，Pytorch等。

Win10系统下，Anaconda 的下载，安装，参考我之前写的博文：Win10下基本的深度学习环境配置（Anaconda+Pycharm+Tensorflow1.14）

  特别地，很多深度学习框架都有在 Anaconda 环境下，对不同版本的框架进行测试，安装命令非常简单。还有一个非常重要的功能，使用命令【conda install ~】安装不同版本的深度学习框架时，会默认安装相应版本的CUDA和CUDNN软件包，避免了在本机环境配置CUDA和CUDNN软件。对于深度学习开发者而言，由于不同算法的开发软件版本存在差异，那么经常会配置不同版本的软件（比如，Pytorch，TensorFlow的版本，或者cuda，cudnn版本以及其它一些软件等）。很显然， Anaconda 非常适合。

Anaconda 的基本用法，参考我之前的博文：Anaconda 软件包安装，比如 Pytorch 的官网安装命令，如下图所示，
 

---

Anaconda 常见软件安装错误，

• Ubuntu系统下， conda创建虚拟环境下，pip 安装报错如下，

  安装命令：

  pip install -r requirements.txt 
  

  报错类型：ERROR: Cannot uninstall 'certifi'. It is a distutils installed project and thus we cannot accurately determine which filch would lead to only a partial uninstall.
   
  解决方案：

  pip install certifi --ignore-installed
  pip install -r requirements.txt
  

• pip install matplotlib，报错如下所示，

  安装命令：

  pip install matplotlib
  

  报错如下：ValueError: check_hostname requires server_hostname
   
  解决方案：关闭电脑的 VPN，重新安装即可。

2.2 Pycharm

  对于本地开发，无论是 Windows，或者 Ubuntu 系统，我常用的 Python 集成开发环境为免费版的 Pycharm 软件。软件本身包含常用的开发插件，安装完成后，只需从 Anaconda 导入相应的深度学习开发环境即可。注意，免费版不支持远程开发，而收费版可以。 Pycharm 的安装非常简单，参考【2.1 Anaconda】中的安装链接。

2.3 VSCode

  VSCode的安装和使用也非常简单，但是需要自己下载安装相关的插件，并且需要自己配置一些插件功能。如果是远程开发，VSCode是非常方便的。

3、配置环境

  下面开始配置《动手学习深度学习》的开发环境，测试系统为Ubuntu-18.04 ，其它版本的Ubuntu也可。注意，下面的安装教程是针对 Ubuntu 系统，事实上，除了【1.下载Anaconda】和【2.安装Anaconda】不太一样，其它步骤在Windows10安装是一样的。

1. 下载 Anaconda

   官方下载：https://www.anaconda.com/products/individual#Downloads，国内官网下载速度很慢，一般不推荐。
    
   清华镜像下载：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/，下载速度很快，点击下图中红框中的链接，进入下载页面，根据需要选择对应版本的软件包，比如 Anaconda3-5.3.1-Linux-x86_64.sh（Anaconda3 表示python3，Anconda2对应python2）
    

2. 安装 Anaconda

   a. 打开终端
   b. 运行下载的 Anaconda3-5.3.1-Linux-x86_64.sh 文件，运行过程中一直输入 “yes” 即可

   bash Anaconda3-5.3.1-Linux-x86_64.sh
   

   c. 安装完成后，系统默认的环境仍是系统的python版本，需要为conda设置环境变量，

   sudo gedit ~/.bashrc
   export PATH="/home/kxh/anaconda3/bin:$PATH"
   source ~/.bashrc # 激活环境变量
   

   d. 创建虚拟环境

   # 参数 -y 表示安装过程不提示确认安装，自动执行
   conda create --name d2l python=3.8 -y # 或者 （conda create -n d2l python=3.8 -y）
   

3. 下载官方 D2L Notebooks 资源，也可以到官方网站的页面下载，

   mkdir d2l-en && cd d2l-en
   curl https://d2l.ai/d2l-en.zip -o d2l-en.zip
   unzip d2l-en.zip && rm d2l-en.zip
   

4. 安装Pytorch以及d2l软件包

   如果 Pytorch 安装速度较慢，可以参考我之前的博客：https://blog.csdn.net/kxh123456/article/details/102451093

   conda activate d2l
   conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
   

   安装d2l软件包，里面写了一些基础函数，后续教程会经常用到，具体命令如下

   # -U: Upgrade all packages to the newest available version
   pip install -U d2l
   

5. 安装完成后，可以运行 Notebook，浏览文件，

   Ubuntu系统中，进入工程目录下，打开终端，直接下运行下面的命令，浏览器默认切换到当前的目标，

   jupyter notebook
   

   Windows系统中，浏览器总是默认打开C盘目录下，并不是在工程目录下，需要下面的操作，
   a. 执行命令，生成config文件
    
   b. 打开相应的config文件，搜索关键字，找到修改行，去掉注释
    
    修改后如下图所示，
    
   c. 再次输入命令，浏览器可以直接切换到工程目录，

   jupyter notebook
   

   

注意：本系列博客教程的代码并不在NoteBook中运行，直接用VScode或者Pycharm运行 ！！！