让你配置Caffe-Faster-RCNN不再流泪..

前言

这是我在18年写的文章，那时候配置caffe-faster-rcnn造成很多困扰，怎么opencv配置出问题，怎么内核还出错…花了很长时间在解决这些问题，对于我这样的菜鸟十分的不友好。所以奉劝一句，
如果你是新手，出于对caffe或者faster rcnn的好奇点进来这篇文章，emmm，出门左拐 tensorflow，或者出门右拐 pytorch，那才是真香！！

环境

• 系统：Ubuntu16.04
• GPU：GTX 1080ti
• CUDA8.0
• OPENCV3.1
• Python2.7

搭建CUDA环境请参考CUDA配置一篇就够

安装依赖包

在终端输入以下命令。
正常这样就可以：

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 
sudo apt-get install --no-install-recommends libboost-all-dev sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev 
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev 
sudo apt-get install git cmake build-essential

但有的系统缺少很多必要文件，可能需要下面这种：

sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
sudo apt-get install libopencv-dev libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip
sudo apt-get install ffmpeg libopencv-dev libgtk-3-dev python-numpy python3-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libv4l-dev libtbb-dev qtbase5-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev

配置环境变量

打开环境变量配置文件：

gedit ~/.bashrc
# 或者
vi ~/.bashrc

在该文件中的文末加入以下两行，并保存退出

export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH

激活

source ~/.bashrc

安装Opencv3.1.0

进入官网 : http://opencv.org/releases.html , 选择 3.1.0 版本的 source , 下载 opencv-3.1.0.zip。
解压到你要安装的位置，命令行进入已解压的文件夹 opencv-3.1.0 目录下，执行：

mkdir build # 创建编译的文件目录
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D
 CMAKE_INSTALL_PREFIX=/usr/local ..
make -j8  #编译

在执行 make -j8 命令编译到 92% 时可能会出现以下错误：

modules/cudalegacy/src/graphcuts.cpp:120:54: error: 
‘NppiGraphcutState’ has not been declared
typedef NppStatus (*init_func_t)(NppiSize oSize, 
NppiGraphcutState** ppState, Npp8u* pDeviceMem);

这是由于opecv3.1与cuda8.0不兼容导致的。解决办法：
修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 文件内容，如图：

编译成功后安装

sudo make install 

安装完成后通过查看 opencv 版本验证是否安装成功：

pkg-config --modversion opencv  

问题汇总

1. 提示缺少videoio.h, videodev.h,avformat.h等（出现sys/io.h问题可以不用管，或者touch一个出来就行）

sudo apt-get install libv4l-dev* 
sudo ln -s /usr/include/libv4l1-videodev.h /usr/include/linux/videodev.h
sudo -i
mkdir /usr/include/ffmpeg
cd /usr/include/ffmpeg
ln -sf /usr/include/x86_64-linux-gnu/libavcodec/*.h ./
ln -sf /usr/include/x86_64-linux-gnu/libavformat/*.h ./
ln -sf /usr/include/x86_64-linux-gnu/libswscale/*.h ./

2. ippicv问题(从web上下载)
   复制ippicv_linux_20151201.tgz到/home/xxx/opencv-3.1.0/3rdparty/ippicv/downloads文件夹下的目录：linux-*
   

安装Caffe-Faster-RCNN

Caffe-Faster-RCNN的Github
如果在过程中有一些问题可以在Fast-RCNN的ISSUE中搜一下
在你要安装的路径下 clone ：

git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

进入 caffe-faster-rcnn目录 ，将 Makefile.config.example 文件复制一份并更名为 Makefile.config ，或者输入命令完成复制操作 ：

sudo cp Makefile.config.example Makefile.config

复制一份的原因是编译 caffe 时需要的是 Makefile.config 文件，而Makefile.config.example 只是caffe 给出的配置文件例子，不能用来编译 caffe。
修改 Makefile.config 文件：

sudo gedit Makefile.config

修改 Makefile.config 文件内容：

1. 应用 cudnn
   将

#USE_CUDNN := 1
修改成： 
USE_CUDNN := 1

2. 应用 opencv 版本

#OPENCV_VERSION := 3 
修改为： 
OPENCV_VERSION := 3

3.使用 python 接口

#WITH_PYTHON_LAYER := 1 
修改为 
WITH_PYTHON_LAYER := 1

4.修改 python 路径

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改为： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

5. 修改 caffe-fast-rcnn 目录下的 Makefile 文件：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

将：

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改为：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

6. 修改 /usr/local/cuda/include/host_config.h 文件 :

#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error-- unsupported GNU version! gcc v ersions later than 4.9 are not supported!

搞定

由于我们要安装pycaffe，记得先安装数据科学的两个库numpy和sklearn.

sudo apt-get install python-numpy python-skimage

或者通过pip安装指定版本（python2.7）

sudo pip install numpy==1.11.1
sudo pip install scikit-image==0.9.3
sudo pip install scipy==1.2.1
sudo pip install matplotlib==1.5.3

开始编译，在 caffe 目录下执行，-j8取决于你当前系统的核数。

make clean
make all -j8
make pycaffe -j8
make test -j8

问题解决：

1. 在make test的时候会提示，缺少test_smooth_L1_loss_layer
   直接将该文件删除即可

rm ./src/caffe/test/test_smooth_L1_loss_layer.cpp

2. libcudart加载不进来
   此时可能会报错，发现如下问题，问题比较多，但都是一个性质的，解决一个其他都一样：
   ./build/tools/caffe: error while loading shared libraries: libcudart.so.8.0: cannot open shared object file: can not open shared object file: No such file or directory
   该文件可以在usr/local/cuda-8.0/lib64/目录下找到，因此我们通过下面的命令将libcudart.so.8.0这个文件复制一份过去，记得要加sudo权限，否则可能无法复制
   命令行输入：

sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig

最后
排除错误后运行sudo make runtest -j8进入如下界面，进行到最后不报错即安装成功

配置Python Caffe环境
可在代码中配置，或者全局配置。
全局配置

## ~/caffe-faster-rcnn：caffe-faster-rcnn所在文件夹 
sudo echo export PYTHONPATH="~/caffe-faster-rcnn/python" >> ~/.bashrc
source ~/.bashrc

Python代码配置：查考py-faster-rcnn/tools/_init_paths.py (可直接使用该文件)

参考

• Ubuntu16.04 Caffe 安装步骤记录（超详尽）
• Ubuntu 16.04 部署opencv3.1.0流程与详细的亲测问题整理(python3 for build)
• Ubuntu16.04内核降级
• Ubuntu16 4.10内核降级到4.4