Ubuntu18.04深度学习GPU环境配置
2018年05月13日 22:53:31 DataH 阅读数:4631
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_41863685/article/details/80303963
Ubuntu18.04深度学习GPU环境配置
- Ubuntu 18.04、cuda 9.0、cuDnn v7、TensorFlow/Keras 与anaconda
1.背景
为了加速神经网络的训练,使用CPU训练速度很慢,所以使用cuda和cudnn对神经网络进行加速,在配置的过程中遇到了很多坑,大概配置了一两天,感觉是我配置环境以来最繁杂的一次了,各种坑,网上也有很多教程但是实现起来各种ERROR,真心觉得累。经过差不多两天的时间终于把环境配置好。
2.硬件与软件版本
显卡:GeForce GTX 1070ti
CPU:AMD Ryzen 7 2700x
系统:Ubuntu 18.04
cuda:9.0版本
cuDNN: cuDnn v7
anaconda :3.5版本
TensorFlow:1.8版本
Keras:默认安装最新版
3.英伟达显卡驱动安装
我使用的是ppa源安装的方式,因为之前也从网上从官网上下载run文件进行安装,但是但是后面出现崩溃,又得重新安装,所以这里只讲解ppa源的安装方式。
3.1 删除旧的驱动
原来Linux默认安装的显卡驱动不是英伟达的驱动,所以先把旧得驱动删除掉。
# 删除
sudo apt-get purge nvidia*
- 1
- 2
3.2 禁止自带的nouveau nvidia驱动
# 打开配置文件
sudo vim /etc/modprobe.d/blacklist-nouveau.conf
- 1
- 2
填写禁止配置的内容:
blacklist nouveau
options nouveau modeset=0
- 1
- 2
更新配置文件,
sudo update-initramfs -u
- 1
最后需要进行重启重启之后,因为禁止了显卡的驱动,所以重启后显示的效果很不好,通过这个可以看出,是否完成这一步操作。
3.3 添加Graphic Drivers PPA
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
- 1
- 2
查看合适的驱动版本:
ubuntu-drivers devices
- 1
如图所示:
从图中可以看出可以选择的驱动版本,在这里我选择最高的版本396的。通过如下命令进行安装:安装 完后需要进行重启。
# 安装
sudo apt-get install nvidia-driver-396
# 重启
sudo reboot
- 1
- 2
- 3
- 4
安装完后,通过如下命令检测是否安装成功,如果成功会显示如下图所示。
sudo nvidia-smi
sudo nvidia-settings
- 1
- 2
完成显卡驱动的安装。
4.cuda 9.0 安装
4.1 下载文件
首先在官网上下载run 文件,如图所示,选择合适run文件。
4.2 安装依赖库
在下载完成后在运行这个run文件之前先安装依赖库,这个是什么鬼库我也不懂,是看了这个教程来做的。
# 依赖库安装
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
- 1
- 2
但是不做这个步骤直接运行run文件会出现如图所示。
所以安装依赖库是为了解决这个问题。
4.3 gcc降低版本
CUDA9.0要求GCC版本是5.x或者6.x,其他版本不可以,需要自己进行配置,通过以下命令才对gcc版本进行修改。
# 查看版本
g++ --version
- 1
- 2
# 版本安装:
sudo apt-get install gcc-5
sudo apt-get install g++-5
- 1
- 2
- 3
通过命令替换掉之前的版本:
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 50
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 50
- 1
- 2
最后记得再次查看版本是否修改成功。
4.4 安装cuda
运行run文件。
sudo sh cuda_9.0.176_384.81_linux.run
- 1
注意:在安装过程中会提示是否需要安装显卡驱动,如图所示,在这里要选择n,其他的选择y或者回车键进行安装。
到最终的结果如果没有错误,得到的结果如图所示:
其他不正确的形式:
还有其他形式的,但是没有截屏,对于这种情况可能是某些依赖库没装好还是什么我也不太懂,但是我解决的方法是先安装一下依赖库。然后重启,结果就可以了。
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
- 1
- 2
- 3
- 4
4.5 环境配置
完成以上的步骤以后一定要进行环境的配置。按步骤输入一下命令:
sudo gedit ~/.bashrc
- 1
会弹出一个可写的配置文件,在末尾把以下配置写入并保存。
export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
- 1
- 2
最后执行
source ~/.bashrc
- 1
有时候也需要重启。最好重启一下。
4.6 测试
在安装的时候也也相应安装了一些cuda的一些例子,可以进入例子的文件夹然后使用make命令执行。从网上找了两个例子,例一:
# 第一步,进入例子文件
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
# 第二步,执行make命令
sudo make
# 第三步
./deviceQuery
- 1
- 2
- 3
- 4
- 5
- 6
如果结果有GPU的信息,说明安装成功。
例二:
# 进入例子对应的文件夹
cd NVIDIA_CUDA-9.0_Samples/5_Simulations/fluidsGL
# 执行make
make clean && make
# 运行
./fluidsGL
- 1
- 2
- 3
- 4
- 5
- 6
当执行这个例子,我们会看到流动的图,刚开始可能看不到黑洞,需要等待一小段时间。
当运行这个程序的时候我们可以通过如下命令查看GPU是否在使用:
nvidia-smi
- 1
运行以上程序的前后对比如图所示:
完成CUDA 9.0 的安装。
5.cuDnn v7 安装
5.1 下载
cuDNN安装的方式非常简单,官网的安装指南有两种方式进行安装。我随便选择了一种方式进行安装。在这个方式中首先需要下载合适的安装包,因为我的CUDA 是9.0的版本,所以选择如下图三个文件安装包:
5.2 安装
安装过程如下:
# 安装命令
sudo dpkg -i libcudnn7_7.0.3.11-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-dev_7.0.3.11-1+cuda9.0_amd64.deb
sudo dpkg -i libcudnn7-doc_7.0.3.11-1+cuda9.0_amd64.deb
- 1
- 2
- 3
- 4
5.3 测试
安装完以后需要进行测试是否安装成功,测试的过程如下图所示:
# 如图中的命令
cp -r /usr/src/cudnn_samples_v7/ $HOME
cd $HOME/cudnn_samples_v7/mnistCUDNN
make clean && make
./mnistCUDNN
- 1
- 2
- 3
- 4
- 5
最终如果有提示信息:“Test passed! ”,则说明安装成功,如图所示:
6.anaconda安装
对于anaconda3 的安装非常简单,从官网中直接下载3.5版本的sh文件。然后执行如下命令对conda进行安装,我下载的是Anaconda3-5.1.0-Linux-x86_64.sh,过程直接yes、yes安装即可,对于不懂的可以看这个更详细的教程。
bash Anaconda3-5.1.0-Linux-x86_64.sh
- 1
安装完成后要重启电脑才能打开jupyter notebook。重启之后在终端输入一下命令进入notebook:
jupyter notebook
- 1
打开notebook界面如下,是生成在浏览器中的.
7.TensorFlow和Keras 安装
安装完anaconda 以后可以在终端直接用pip 对TensorFlow和Keras进行安装:
# 安装 gpu 版本的 tensorflow 和 keras
pip install tensorflow-gpu # 默认安装最新版本
pip install keras
- 1
- 2
- 3
8.测试
对于测试的代码可以使用手写数字识别进行测试,在GitHub这里可以找到。我用自己的项目跑了一下,是在jupyter notebook上运行的,使用的框架是Keras。对比使用CPU和使用GPU加速对神经网络进行训练的对比,如图所示:
CPU训练:
GPU加速训练:
通过以上的对比,明显发现使用GPU加速比单独使用cup对神经网络进行训练快了很多。
使用如下命令查看训练神经网络前和训练神经网络时GPU使用的情况:
nvidia-smi
- 1
通过比较前后,GPU的使用情况可以发现训练时调用的GPU,没有训练时GPU的利用率不到百分之十,图上的GPU利用率直接为0,训练时GPU的利用率直接飙升到92%,说明安装的过程没有问题。完成环境的配置。
9.总结
感觉经历了九九八十一难,最终终于把环境搭好,虽然搭建的过程遇到了很多坑,但是搭建完成之后,回过来一看感觉也没那么难,各种配置和需要依赖哪些库的问题,还有就是版本的匹配,以为需要安装多个软件,最难的就是版本的匹配问题,又因为Ubuntu18.04算是最新发布的,在安装cuda和cudnn中还没有匹配得,最高也是17.04的版本,但是在安装过程中发现Ubuntu 18.04的兼容性很好。最后要感谢一下网上各位大佬的分享。