Caffe + Ubuntu 14.04 + CUDA 7.0 新手安装配置指南

最近利用深度学习做物体检测，需要配置caffe，根据欧新宇博士的博文教程http://ouxinyu.github.io/Blogs/20140723001.html 《Caffe + Ubuntu 15.04 + CUDA 7.0 新手安装配置指南》和《Caffe + Ubuntu 15.04 + CUDA 7.5 新手安装配置指南》进行配置，前面的步骤都很顺利没有遇到问题，但是到了caffe编译测试的时候去出现一些问题。后来百度找到了解决方法，caffe也运行成功。故在没有遗忘之际，将步骤记录下来，希望有需要的朋友可以借鉴一下。
0. Caffe 官网地址：http://caffe.berkeleyvision.org/

PS：为了方便大家使用，用于分享部分安装过程中需要用到的软件包可以到欧新宇博士提供的百度云盘中下载。链接: http://pan.baidu.com/s/1qX1uFHa 密码:wysa

一 . 第一部分 Linux安装

Linux的安装，如果不是Linux粉，只是必须，被迫要用它来作作科研什么的，建议安装成双系统，网上方法很多，这里我就不详细写了，安装还算是傻瓜式的，和windows的过程类似，至于语言，如果觉得难度还不够大的话，完全可以装E文版的，甚至日文，德文~~~，我是装的简体中文版，我总共用分出的500G的空间来安装Ubuntu 14.04，这个版本是最新的版本，有个好处是，可以直接访问Windows8.1的NTFS分区，不用做额外的操作，而且支持中文，例如：$ cd /media/yourname/分区名字/文件夹名，当然GUI就更方便了.

我的分区设置如下：

根分区： \ 100G，

Swap交换分区：16G ，这里，我设置和我的内存一样，据说小于16G的内存，就设置成内存的1.5-2倍

boot分区：200M

Home分区：剩余的空间，鉴于Imagenet，PASCAL VOC之类的大客户，建议500G，至少300G以上。

第二部分：nVidia驱动和CUDA Toolkit的安装和调试（*.deb方法）
关于安装完CUDA进入不了桌面的问题，大概和显卡的版本、驱动版本、系统都有关系，所以以下几种方法，可以考虑尝试（虽然是互斥的，但是都出现过解决此问题的情况）。1. 安装CUDA时，不安装OpenGL；2.不安装独立下载的显卡驱动，只安装CUDA内置的；3. 不安装CUDA内置驱动，只安装Toolkit，另外安装官网下载的最新的显卡驱动；4. 安装完成后，切忌自动更新Linux系统。
PS：特别推荐*.deb的方法，目前已提供离线版的deb文件，该方法比较简单，不需要切换到tty模式。这里以CUDA 7.0为例。

一、CUDA Repository

获取CUDA安装包,安装包请自行去NVidia官网下载。

$ sudo dpkg -i cuda-repo-ubuntu1404-7-0-local_7.0-28_amd64.deb

$ sudo apt-get update

二、CUDA Toolkit

$ sudo apt-get install -y cuda

三、Environment Variables

$ export CUDA_HOME=/usr/local/cuda-7.0

$export LD_LIBRARY_PATH=${CUDA_HOME}/lib64

$PATH=${CUDA_HOME}/bin:${PATH}

第三部分 Matlab安装和调试（以Matlab 2014a为例）

1.下载

由于该软件为商业软件，请大家自行寻找，安装学习，并确保不使用做商业目的，下载24小时删除……

1. 预准备

选择Mathworks.Matlab.R2014a.Unix.iso - 右键 - 使用磁盘映像挂载器打开”，进入装载的虚拟光盘，拷贝全部文件至home/Matlab 文件夹(PS：我的原则是能GUI就GUI，喜欢CMD的可以参照执行) .PS：Matlab 的破解文件Crack需要自己去到网上去搜索下载。

复制Crack/install.jar至 home/Matlab/java/jar/ 并覆盖源文件

$ sudo cp install.jar /home/Matlab/java/jar/

1. 授权安装文件夹

$ chmod a+x Matlab -R

1. 安装

$ sudo ./install

选项：不使用Internet安装

序列号： 12345-67890-12345-67890

默认路径：/usr/local/MATLAB/R2014a

勾选从默认启动路径创建符号链接（实现在任意位置运行matlab启动程序）

激活文件：license_405329_R2014a.lic

拷贝 libmwservices.so 至 /usr/local/MATLAB/R2014a/bin/glnxa64

$ sudo cp libmwservices.so /usr/local/MATLAB/R2014a/bin/glnxa64/

5.解决编译器gcc/g++版本问题。

因为Ubuntu 14.04的gcc/g++版本是4.9.2，而Matlab 2014a（2015a）的版本是4.7.x所以在使用matla调用mex文件的时候，基本上都会报错，根据报错信息，考虑如下两步解决方案。

A. 降级安装gcc/g++版本为4.7.x

(a). 下载gcc/g++ 4.7.x

$ sudo apt-get install -y gcc-4.7

$ sudo apt-get install -y g++-4.7

(b). 链接gcc/g++实现降级

$ cd /usr/bin

$ sudo rm gcc

$ sudo ln -s gcc-4.7 gcc

$ sudo rm g++

$ sudo ln -s g++-4.7 g++

第五部分 Caffe-Master的安装和测试

对于Caffe的安装严格遵照官网的要求来：http://caffe.berkeleyvision.org/installation.html

一、安装BLAS

这里可以选择（ATLAS，MKL或者OpenBLAS），我这里使用MKL，首先下载并安装英特尔® 数学内核库 Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2016)，下载链接是：https://software.intel.com/en-us/intel-education-offerings， 使用学生身份（邮件 + 学校）下载Student版，填好各种信息，可以直接下载，同时会给你一个邮件告知序列号。下载完之后，要把文件解压到home文件夹(或直接把tar.gz文件拷贝到home文件夹,为了节省空间，安装完记得把压缩文件给删除喔～)，或者其他的ext4的文件系统中。

接下来是安装过程，先授权，然后安装：

$ tar zxvf parallel_studio_xe_2016.tar.gz （如果你是直接拷贝压缩文件过来的）

$ chmod a+x parallel_studio_xe_2016 -R

$ sh install_GUI.sh

PS: 安装的时候，建议使用root权限安装，过程中会要求输入Linux的root口令。（设置方法：命令行：$ sudo passwd）

二、MKL与CUDA的环境设置

1. 新建intel_mkl.conf， 并编辑之：

$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf

/opt/intel/lib/intel64

/opt/intel/mkl/lib/intel64

1. 新建cuda.conf，并编辑之：

$ sudo gedit /etc/ld.so.conf.d/cuda.conf

/usr/local/cuda/lib64

/lib

1. 完成lib文件的链接操作，执行：

$ sudo ldconfig -v

三、安装OpenCV 3.0.0

1. 下载并编译OpenCV（官网原版OpenCV：http://opencv.org/）， 或者使用我提供的修改版的安装包(前面的百度云下载)（下面的安装方式使用该包完成，安装包修改了dependencies.sh文件并增加了OpenCV 3.0.0的安装文件）

2. 切换到文件保存的文件夹，然后安装依赖项：

$ sudo sh Ubuntu/dependencies.sh

1. 切换目录Ubuntu\3.0\安装OpenCV 3.0.0：

$ sudo sh opencv3_0_0.sh

保证网络畅通，因为软件需要联网这里时间较长，请耐心等待。。。，

四、安装其他依赖项

1. Google Logging Library（glog），下载地址：https://code.google.com/p/google-glog/，然后解压安装：

$ tar zxvf glog-0.3.3.tar.gz

$ ./configure

$ make

$ sudo make install

如果没有权限就chmod a+x glog-0.3.3 -R , 或者索性 chmod 777 glog-0.3.3 -R , 装完之后，这个文件夹就可以kill了。

1. 其他依赖项，确保都成功

$ sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler protobuf-compiler

五、安装Caffe并测试

1. 安装pycaffe必须的一些依赖项：

$ sudo apt-get install -y python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython

1. 安装配置nVidia cuDNN 加速Caffe模型运算

a. 安装前请去先官网下载最新的cuDNN (cudnn-7.0-linux-x64-v4.0-prod)。

$ sudo cp include/cudnn.h /usr/local/include

$ sudo cp lib64/libcudnn.* /usr/local/lib

b. 链接cuDNN的库文件

$ sudo ln -sf /usr/local/lib/libcudnn.so.4.0.7 /usr/local/lib/libcudnn.so.4

$ sudo ln -sf /usr/local/lib/libcudnn.so.4 /usr/local/lib/libcudnn.so

$ sudo ldconfig -v

1. 切换到Caffe-master的文件夹，生成Makefile.config配置文件，执行：

$ cp Makefile.config.example Makefile.config

1. 配置Makefile.config文件（仅列出修改部分）

a. 启用CUDNN，去掉”#”

USE_CUDNN := 1

b. 配置一些引用文件（增加部分主要是解决新版本下，HDF5的路径问题）

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial

c. 启用Intel Parallel Studio XE 2016

BLAS := mkl

d. 配置路径，实现caffe对Python和Matlab接口的支持

PYTHON_LIB := /usr/local/lib

MATLAB_DIR := /usr/local/MATLAB/R2014a

c. 启用OpenCV 3.0, 去掉”#”

OPENCV_VERSION =3

1. 编译caffe-master！！！”-j8”是使用CPU的多核进行编译，可以极大地加速编译的速度，建议使用。

$ make all -j8

$ make test -j8

$ make runtest -j8

编译Python和Matlab用到的caffe文件

$ make pycaffe -j8

$ make matcaffe -j8

六、使用MNIST数据集进行测试

Caffe默认情况会安装在$CAFFE_ROOT，就是解压到那个目录，例如：$ home/username/caffe-master，所以下面的工作，默认已经切换到了该工作目录。下面的工作主要是，用于测试Caffe是否工作正常，不做详细评估。具体设置请参考官网：http://caffe.berkeleyvision.org/gathered/examples/mnist.html

1. 数据预处理

$ sh data/mnist/get_mnist.sh

1. 重建lmdb文件。Caffe支持多种数据格式输入网络，包括Image(.jpg, .png等)，leveldb，lmdb，HDF5等，根据自己需要选择不同输入吧。

$ sh examples/mnist/create_mnist.sh

生成mnist-train-lmdb 和 mnist-train-lmdb文件夹，这里包含了lmdb格式的数据集

1. 训练mnist

$ sh examples/mnist/train_lenet.sh

至此，Caffe安装的所有步骤完结，下面是一组简单的数据对比，实验来源于MNIST数据集，主要是考察一下不同系统下CPU和GPU的性能。可以看到明显的差别了，虽然MNIST数据集很简单，相信复杂得数据集，差别会更大，Ubuntu+GPU是唯一的选择了。