ubuntu18.4使用dnn在GPU上运行

想要使用opencv的dnn模块来进行深度学习的模型推理，需要安装opencv的扩展库(opencv_contrib)，本文记录如何在ubuntu18.4上安装opencv和opencv_contrib，生成python和C++可调用的opencv，并能够在GPU上运行。

环境

• ubuntu18.04
• opencv4.2.0
• opencv_contrib4.2.0
• cuda10.0
• cudnn7.6.4（cudnn版本大于7.5才能在使用dnn时启用GPU）

安装过程

1.安装相关依赖库

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install build-essential cmake unzip pkg-config
sudo apt-get install libjpeg-dev libpng-dev libtiff-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install libv4l-dev libxvidcore-dev libx264-dev
sudo apt-get install libgtk-3-dev
sudo apt-get install libatlas-base-dev gfortran
sudo apt-get install python3-dev

2.下载opencv源码

 cd ~
wget -O opencv.zip https://github.com/opencv/opencv/archive/4.2.0.zip
wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.2.0.zip
unzip opencv.zip
unzip opencv_contrib.zip
mv opencv-4.2.0 opencv
mv opencv_contrib-4.2.0 opencv_contrib

3.Determine CUDA architecture version
进到链接https://developer.nvidia.com/cuda-gpus，找到对应NVIDIA GPU的Compute Capability 版本，等下配置安装的时候有用。

比如，我的GPU是GeForce GTX 1060，对应的Compute Capability是：6.1
可以在终端输入命令查看GPU类型

nvidia-smi

显示

$ nvidia-smi
Thu Mar 12 13:36:44 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.78       Driver Version: 410.78       CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:01:00.0  On |                  N/A |
| 27%   42C    P8    10W / 120W |    652MiB /  6075MiB |      1%      Default |
+-------------------------------+----------------------+----------------------+

4.配置安装

cd ~/opencv
mkdir build
cd build
sudo cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D INSTALL_PYTHON_EXAMPLES=ON -D INSTALL_C_EXAMPLES=ON -D OPENCV_ENABLE_NONFREE=ON -D WITH_CUDA=ON -D WITH_CUDNN=ON -D OPENCV_GENERATE_PKGCONFIG=ON -D OPENCV_DNN_CUDA=ON -D ENABLE_FAST_MATH=1 -D CUDA_FAST_MATH=1 -D CUDA_ARCH_BIN=6.1 -D WITH_CUBLAS=1 -D OPENCV_EXTRA_MODULES_PATH=~/Desktop/opencv_contrib/modules -D HAVE_opencv_python3=ON -D PYTHON_EXECUTABLE=~/.virtualenvs/opencv_cuda/bin/python -D BUILD_EXAMPLES=ON -D CUDA_CUDA_LIBRARY=/usr/local/cuda-10.0/lib64/stubs/libcuda.so ..

cmake配置说明：
1）修改OPENCV_EXTRA_MODULES_PATH和CUDA_CUDA_LIBRARY到对应的路径
2）opencv4以上默认不生成opencv.pc，所以需要指定OPENCV_GENERATE_PKGCONFIG=ON才能生成对应版本的opencv4.pc，才能通过g++链接编译，opencv安装完成后，可以到/usr/local/lib/pkgconfig/路径下查看，如果装了多个版本的opencv，在使用g++编译时可以指定版本：

g++ xxxx.cpp -o xxxx `pkg-config --cflags --libs opencv4`

如果安装的是opencv4以下，默认生成的应该是opencv.pc，则g++编译时改为：

g++ xxxx.cpp -o xxxx `pkg-config --cflags --libs opencv`

3）CUDA_ARCH_BIN=6.1 这里的版本必须要指定对，否则就算安装成功了，也无法调用GPU，而6.1就是上面第3点介绍的Compute Capability 版本。

5.cmake成功后开始编译安装

sudo make -j8
sudo make install
sudo ldconfig

6.将opencv的库添加到路径
参考https://blog.csdn.net/broliao/article/details/104718030

sudo gedit /etc/ld.so.conf.d/opencv.conf 

执行此命令后打开的可能是一个空白的文件，不用管，只需要在文件末尾添加：

/usr/local/lib

保存后更新

sudo ldconfig

7.配置bash

sudo gedit /etc/bash.bashrc 

在最末尾添加

PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig  
export PKG_CONFIG_PATH 

保存，执行如下命令使得配置生效

source /etc/bash.bashrc

更新

sudo updatedb

8.为python创建opencv 的 link
如果不需要使用python的接口，这部可以省略，上面关于opencv-python的配置也可以不要，如果要使用python接口的话，需要将编译好的opencv的so文件链接起来，链接过程如下：
1）查看so文件：
进到目录/usr/local/lib/python3.6/dist-packages/cv2/python-3.6/下，应该会有类似cv2.cpython-36m-x86_64-linux-gnu.so的文件，该文件就是我们要找的so文件。
2）创建链接

cd /usr/local/lib/python3.6/dist-packages
sudo ln -s /usr/local/lib/python3.6/dist-packages/cv2/python-3.6/cv2.cpython-36m-x86_64-linux-gnu.so cv2.so

9.测试
python:

broliao@ljx:~$ python3
Python 3.6.9 (default, Nov  7 2019, 10:44:02) 
[GCC 8.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2
>>> cv2.__version__
'4.2.0'
>>> 

c++:
参考https://blog.csdn.net/broliao/article/details/104718030

10.在使用时，通过设置如下参数来选择使用GPU还是CPU
GPU:

Net net = readNet(modelPath, configPath, framework);
net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA);
net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA);

CPU:

Net net = readNet(modelPath, configPath, framework);
net.setPreferableBackend(cv::dnn::DNN_BACKEND_OPENCV);
net.setPreferableTarget(cv::dnn::DNN_TARGET_CPU);

文章相关参考：
https://www.pyimagesearch.com/2020/02/03/how-to-use-opencvs-dnn-module-with-nvidia-gpus-cuda-and-cudnn/
https://blog.csdn.net/broliao/article/details/104718030