【代码复现】EfficientPS

概要

ubuntu20.04+pytorch1.7+cuda10.2

链接:项目github网址

环境准备

1、安装anaconda
链接:anaconda安装教程
链接: 清华大学开源软件镜像

// 检查是否安装成功
conda -V;
conda --version

//创建虚拟环境
conda create -n your_env_name python=X.X
//激活虚拟环境
source activate your_env_name
//退出虚拟环境
source deactivate your_env_name
//删除虚拟环境
conda remove -n your_env_name --all
///查看安装了哪些包
conda list
//安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
//查看当前存在哪些虚拟环境
conda env list 
conda info -e
conda info --envs
//检查更新当前conda
conda update conda 
//更新anaconda
conda update anaconda
//更新所有库
conda update --all
//更新python
conda update python

2、安装CUDA 10.2
链接:cuda10.2安装教程
链接:cuda10.2官网下载链接

tips:
（1）GCC 7 or 8
（2）下载runfile版本，取消Driver项的安装，使用系统自带的硬件驱动
（3）没安装cuDNN

3、安装pytorch1.7
链接:pytorch1.7安装教程

//安装命令
pip install torch==1.7.0+cu101 torchvision==0.8.1+cu101 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html

【debug】安装pytorch报错torch.cuda.is_available()=false的解决方法 链接:解决方法

出错原因主要是以下两个：
1、CUDA和torch版本不对应
2、检查是不是清华源下载导致的问题 conda list

看到Pytorch的Build是pyxxx_cpu_0，就说明下的pytorch是cpu版本的，这样就会导致输出False

导致的原因可能是清华源没有对应cuda版本的pytorch，所以会装cpu版的。

4、cuda与pytorch测试

//测试pytorch
import torch
print(torch.__version__) 
//测试cuda
import torch
torch.cuda.is_available()
print(torch.version.cuda)

Installation

1. anaconda创建虚拟环境

git clone https://github.com/DeepSceneSeg/EfficientPS.git
cd EfficientPS
// 使用yaml文件安装依赖
conda env create -n efficientPS_env --file=environment.yml
//激活环境
conda activate efficientPS_env

tips: yaml中单独包下载 使用conda install或pip install

tips: environment.yml的常用字段的意思
在Conda环境中，environment.yml文件用于定义和描述环境的配置信息，包括依赖项、包版本和渠道等。

1. name
   将要创建的虚拟环境的名称

2. channels
   在environment.yml文件中，channels字段表示软件包的渠道（channels），它指定了从哪些渠道下载软件包。

3. dependencies
   用于定义环境所需的软件包和其版本信息。这个字段列出了需要安装到环境中的依赖项，可以包括Python解释器版本、库和其他软件包。
   3.1 pip
   在Conda环境的environment.yml文件中，除了使用dependencies字段指定需要安装的Conda软件包之外，还可以使用pip字段来指定需要使用pip安装的Python软件包。

name: TT
channels:
- defaults
- conda-forge
dependencies:
- python=3.8
- pip
- patchelf
- pip:
   - -f https://download.pytorch.org/whl/torch_stable.html
   - numpy
   - gym==0.18.0

2. 安装requirements.txt中的依赖:

pip install -r requirements.txt

【debug】nvcc fatal : Unsupported gpu architecture ‘compute_86‘
链接:解决方法

主要原因应该是硬件能够支持的算力比较高，但是cuda10.2支持不了这么高的算力

设置环境变量，降低算力要求，即可：

//清除TORCH_CUDA_ARCH_LIST
unset TORCH_CUDA_ARCH_LIST
//设置cuda算力为8.0
export TORCH_CUDA_ARCH_LIST="7.5"

3. Install EfficientNet implementation

cd efficientNet
//注意是EfficientPS下的efficientNet文件夹
python setup.py develop

4. Install EfficientPS implementation

cd ..
//进入EfficientPS文件夹
python setup.py develop

下载数据集

链接:KITTI、Cityscapes和Foggy Cityscapes百度云链接
Cityscapes
链接：https://pan.baidu.com/s/1w-ONPbnXAX7SSaNh_90q-g
提取码：osal

城市景观注释必须转换格式：

python tools/convert_cityscapes.py ROOT_DIRECTORY_OF_CITYSCAPES ./data/cityscapes/
cd ..
git clone https://github.com/mcordts/cityscapesScripts.git
cd cityscapesScripts/cityscapesscripts/preparation
python createPanopticImgs.py --dataset-folder path_to_cityscapes_gtFine_folder --output-folder ../../../EfficientPS/data/cityscapes --set-names val

环境准备

小结

使用单个GPU进行训练：

python tools/train.py efficientPS_singlegpu_sample.py --work_dir work_dirs/checkpoints --validate 

使用单个 GPU 进行测试

python tools/test.py efficientPS_singlegpu_sample.py ${CHECKPOINT_FILE} --eval panoptic