【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架

前言：

        在CANN训练营提供的华为云镜像环境，通过miniconda 安装pytorch和Tensorflow框架。在模型迁移前准备阶段，可以用来在CPU上对模型训练进行验证。

        本文描述了安装过程，更换国内conda源、并分别下载例程，在Pytorch和Tensorflow框架下进行了CPU训练。还介绍了在Pytorch、Tensorflow虚拟环境以及不启动虚拟环境之间切换的方法。

一、概要

参考文档：https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000034.html   安装Tensorflow

https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000035.html    安装PyTorch

        训练营镜像已经安装好了CANN环境，只需要安装深度学习框架Tensorflow和Pytorch。为了方便安装和使用两种框架，采取miniconda的方式进行安装，创建两个虚拟环境，分别安装这两个框架。

        安装完成后，系统存在下述四种环境：无Conda环境；Pytorch环境；Tensorflow环境；Base环境。四种环境切换方式如下表所示：

二、安装miniconda

1、下载miniconda

        在官网查找合适的版本，根据昇腾官方建议的python版本，选择3.7的版本进行安装。

mkdir downloads && cd downloads   #创建下载目录

wget https://repo.anaconda.com/miniconda/Miniconda3-py37_23.1.0-1-Linux-x86_64.sh #下载miniconda

chmod +x Miniconda3-py37_23.1.0-1-Linux-x86_64.sh   #赋执行权限

./Miniconda3-py37_23.1.0-1-Linux-x86_64.sh  #执行安装

按提示操作，默认安装到下述目录：

安装的最后，提示

 

        此处选择no，选择yes，登录后会自动运行conda的base环境。等需要使用时，通过

conda activate 进行切换。

修改为国内conda源

vim ~/.condarc

#清华源

channels:  

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/  

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/  

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ 

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

ssl_verify: true

也可以通过下述开关，进行设置

conda config --set auto_activate_base false

三、安装Pytorch 1.8

参考文档：https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000064.html

1、在miniconda 创建pytorch虚拟环境

创建pytorch1.8

conda create -n pt_1.8 python=3.7.5

切换到虚拟环境

conda activate pt_1.8

2、安装PyTorch环境依赖

conda install pyyaml

conda install wheel

3、安装Pytorch

# CPU Only 

conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cpuonly -c pytorch

        安装完成后，用conda list查看，有pytorch表示安装成功。

        也可以查看pytorch版本：

 

 
4、下载pytorch官方例程

地址：https://github.com/pytorch/examples

使用git clone命令下载例程。git clone https://github.com/pytorch/examples.git

5、跑一个CPU训练

        选择mnist例程，进行cpu训练。

    （1）修改代码

        例程综合考虑了cpu、gpu、mac gpu下的训练，我们这里使用的是cpu训练，需要将gpu、mac gpu关闭，避免因为检查gpu、mac gpu而报错。

        用Visual Studio Code修改训练脚本如下：

        修改参数，将训练好的模型落盘存储

    （2）运行训练脚本   python main.py

        训练完成，模型文件存储到训练脚本目录下。

四、安装Tensorflow1.15

1、切换至base，创建tensorflow虚拟环境——conda activate base

2、安装tensorflow 1.15 cpu版本

            conda install tensorflow=1.15.0

3、安装验证

 4、下载lenet例程

        git clone https://gitee.com/qmckw/lenet.git

        原始代码直接运行会报错：ImportError: cannot import name ‘tutorials’ from ‘tensorflow_core.examples’，需要改一下代码。

        执行训练 python Train.py