2 服务器配置
2.3 安装CUDA和cuDNN
请参考我的博文《CUDA——Ubuntu系统上CUDA和cuDNN的安装教程》;
如果出现问题:
unable to execute ':/usr/local/cuda/bin/nvcc': No such file or directory
error: command ':/usr/local/cuda/bin/nvcc' failed with exit status 1
观察发现,上面的路径多了一个冒号,
这是由环境变量的设置问题引起的,
可以这样修改:
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda
# 将上面的语句修改成:
export CUDA_HOME=/usr/local/cuda
2.4 安装Anaconda
首先在官网下载Anaconda的安装包,https://www.anaconda.com/products/individual,
下载下来是一个.sh安装文件,我们需要使用bash命令进行安装;
2.2 安装PyTorch
请参考我的博文《PyTorch——Ubuntu上Pytorch的安装教程》;
2.2.1 安装CUDA
step 1:
step 2:查看系统内核,
grep menuentry /boot/grub/grub.cfg
step 2:修改默认启动的内核,使用命令
sudo gedit /etc/default/grub
需要修改的配置有:
GRUB_DEFAULT="1> 6"
...
其中“1>”表示主菜单的第二项,也就是“Ubuntu高级选项”,“6”表示其中的第七个内核,(也就是我们需要使用的4.4内核);
2 安装第三方软件依赖
2.1 安装NCCL
step 1:打开NCCL的官方网站,https://developer.nvidia.com/nccl/nccl-download
点击“I Agree To the Terms of the Software License Agreement”,
step 2:选择相应版本的NCCL,下载安装的.deb文件,
注意:这里不要使用系统默认的app-store进行.deb文件的安装,而需要使用dpkg命令来进行安装;
step 3:使用dpkg命令安装NCCL的安装包,
sudo dpkg -i nccl-repo-ubuntu1604-2.7.8-ga-cuda10.2_1-1_amd64.deb
安装完成后,注意看看安装完成的提示信息,
提示信息:
The public CUDA GPG key does not appear to be installed.
To install the key, run this command:
sudo apt-key add /var/nccl-repo-2.7.8-ga-cuda10.2/7fa2af80.pub
还需要安装相关的公钥,于是执行该命令即可;
2.1.1 验证nccl是否安装成功
关于验证nccl是否安装成功,请参考NVDIA官方GitHub--NCCL-Tests--和博文《Ubuntu NCCL安装》;
首先新建一个Test文件夹,在该文件夹下打开终端,然后执行以下测试命令:
git clone https://github.com/NVIDIA/nccl-tests.git
cd nccl-tests
sudo make
./build/all_reduce_perf -b 8 -e 256M -f 2 -g 1
2.2 安装python-setuptools
如果运行时出现“ImportError: No module named setuptools”的错误,则需要安装python-setuptools,
使用下面的命令进行安装:
sudo apt-get install python-setuptools
2.3 安装mmcv
2.3.1 如何解决“ModuleNotFoundError: No module named ‘mmcv.cnn.weight_init‘”
这是由于mmcv的版本太高引起的,需要换成低版本的mmcv;
使用下面的命令安装低版本的mmcv:
pip install mmcv==0.5.9
3 数据集收集
3.1 DOTA数据集
DOTA数据集:遥感目标检测数据集
https://captain-whu.github.io/DOTA/dataset.html
3.1.1 检验是否下载完整
DOTA数据集是用百度网盘进行存储的,所以下载完成后,记得看看是否下载完整;
使用python来进行完整性的检查;
Kaggle Airbus Ship:Kaggle舰船检测比赛的数据集
HRSC2016
(见百度网盘)