环境搭建:Ubuntu16.04+CUDA8.0+cuDNN5.1+OpenCV3.1+Caffe+Docker

前言

---

Caffe环境搭建所需的依赖出奇地复杂,在make的过程中经常会出现各种各样的问题,实际上这些问题很多人也遇到了,所以要做好各种百度google的心理准备,以下搭建过程仅作为流程汇总,不包括解决所有具体搭建的细节.

---

Caffe环境搭建流程

---

1. 安装Ubuntu16.04

如果没有安装Ubuntu16.04,可查看有关安装Ubuntu16.04的文章.
双硬盘SSD+HDD安装双系统win10+Ubuntu16.04

2. 安装显卡驱动+CUDA8.0

(1) UBUNTU通过PPA安装NVIDIA驱动教程
Ubuntu系统中用官网的包安装Nvidia驱动有些问题(直接安装的话会开机停在登录界面上,输入密码也进不了桌面),所以安装方法需要先关掉系统GUI界面,然后进入命令行界面sudo service lightdm stop等才能安装,其实不用那么麻烦,这样安装也可以:
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt search nvidia-3(查找可安装的包)
sudo apt install nvidia -367(或挑一个你需要的版本)

测试是否成功安装:终端输入nvidia-smi,出现显卡相关信息即成功安装

(2)安装CUDA8.0
CUDA官网下载页面
下载.run格式,然后运行sudo sh cuda_8.0.27_linux.run(注意版本号有可能不同),因为前面我们已经安装了更加新的nvidia367，所以这里不要选择安装。其余的都直接默认或者选择是即可,之后配置好环境变量.

打开终端:
sudo subl ~/.bashrc
输入:
export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
退出:
sudo source ~/.bashrc

测试是否成功安装CUDA:

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
make -j$(nproc) 
sudo ./deviceQuery

拉到最后看到Result = PASS就放心了.

3. 安装cuDNN5.1

cuDNN官网下载页面
注意:cuDNN需要注册一个账号才能下载
cuDNN库实际上是包括头文件跟动态链接库.
把下载的库放进CUDA的相应文件夹中就行.
过程如下:
(1)解压下载的cuDNN

(2)复制库文件到相应位置

进入解压文件夹的include目录,执行
sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件
进入解压文件夹的lib64目录,执行
sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库

4.安装opencv3.1

以下这篇博客说的很详细,就不赘述了.
ubuntu16.04安装opencv3.1.0

5.安装Caffe

安装前推荐完整看一遍Caffe官网安装教程

(1)从github上获取Caffe

sudo apt-get install git

cd到~/git/中,然后在终端输入

git clone https://github.com/BVLC/caffe.git

(2)安装依赖:
安装各种依赖包

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install -y build-essential cmake git pkg-config
sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install -y libatlas-base-dev
sudo apt-get install -y --no-install-recommends libboost-all-dev
sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install -y python-pip
sudo apt-get install -y python-dev
sudo apt-get install -y python-numpy python-scipy
sudo apt-get install -y libopencv-dev

(3)修改Makefile.config
sudo cp Makefile.config.example Makefile.config

(4)打开并修改配置文件：

sudo gedit Makefile.config #打开Makefile.config文件

根据个人情况修改文件：

a.若使用cudnn，则

将#USE_CUDNN := 1
修改成：
USE_CUDNN := 1

b.若使用的opencv版本是3的，则

将#OPENCV_VERSION := 3
修改为：
OPENCV_VERSION := 3

c.若要使用python来编写layer，则

将#WITH_PYTHON_LAYER := 1
修改为
WITH_PYTHON_LAYER := 1

d. 重要的一项 :

将# Whatever else you find you need goes here.下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib

修改为：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial

这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.

(5)修改makefile文件

打开makefile文件，做如下修改：

将：NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

(6)编译安装Caffe

make all -j$(nporc)
make test -j$(nporc)
make runtest -j$(nporc)

MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：

1.将终端定位到Caffe根目录

cd ~/caffe

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

3.将其转换成lmdb数据库格式

./examples/mnist/create_mnist.sh

4.训练网络

./examples/mnist/train_lenet.sh

(7)若要使用python接口(推荐先安装Anaconda2),

make pycaffe

然后添加export PYTHONPATH=”/your/path/to/caffe/python:$PYTHONPATH”到~/.bashrc(把相应的位置改为本机的caffe/python文件夹的位置)
打开终端,使用Caffe接口:

ipython #安装Anaconda2后自带的,当然用本机自带python也行
import caffe #如果出现找不到库等错误,请baidu,google

到此caffe配置完毕!

以上总体的流程是正确的,但每个人情况不同,如果出现错误请多百度google
如果出现找不到库文件的错误,以下命令会经常用到:

find #查询所需的库文件的位置
ln -s #软链接至正确的位置让编译器能正确找到

准备caffe环境确实有些麻烦,下面介绍一种使用Docker配置Caffe的方法:

---

使用Docker运行Caffe

---

原文参考:深度学习：21 天实战 Caffe】Docker 镜像更新
配置Caffe_GPU过程的重点有:
(1)系统安装的nvidia驱动版本一定要与Docker镜像中的nvidia驱动版本一致.
(2)CUDA版本也需要一致,如果与原系统的不一致,需要在软件中重新编译Caffe

---

参考文献：

[1] CSDN BLOG：Ubuntu16.04+CUDA8.0+caffe配置 链接

[2] CSDN BLOG：ubuntu16.04安装opencv3.1.0+Qt5.6.0 链接

[3] ubuntu16.04安装caffe 链接

[4] CSDN BLOG: 深度学习：21 天实战 Caffe】Docker 镜像更新 链接