Ubuntu15.04+Caffe+CUDA7.5 新手安装配置教程

Ubuntu15.04+Caffe+CUDA7.5   新手安装配置教程

前言：

1.Caffe 官网地址：http://caffe.berkeleyvision.org/ 

2.本文为作者亲自实验完成，但仅限用于学术交流使用，使用本指南造成的任何不良后果由使用者自行承担，与本文作者无关！

3.本文旨在为新手提供一个参考，请高手勿要吐槽，有暴力倾向者，请绕道，谢谢！

4.作者运行平台为：Ubuntu 15.04（64位），CUDA7.5，cuDNN v4，Intel Parallel Studio XE Cluster 2016，OpenCV3。

5.建议终端输入命令时尽量使用Tab键补全，以免复制出错，并且使用Root用户输入。

6. 为使用方便，提供一个百度云盘，包含本次安装所有软件包`。

链接：http://pan.baidu.com/s/1cuszim 密码：0e27

第一步：nVidia CUDA Toolkit的安装（*.deb方法）
备注：特别推荐*.deb的方法，目前已提供离线版的deb文件，该方法比较简单，不需要切换到tty模式，因此不再提供原来的*.run安装方法，这里以CUDA 7.5为例。
一、CUDA Repository
获取CUDA安装包,安装包请自行去NVidia官网下载。（https://developer.nvidia.com/cuda-downloads）
$ sudo dpkg -i cuda-repo-ubuntu1504-7-5-local_7.5-18_amd64
$ sudo apt-get update

二、CUDA Toolkit
$ sudo apt-get install -y cuda

第二步： Matlab安装和调试（以Matlab 2014a为例）

1.下载下载可以到前面给出的百度云下载，part1和part2并解压

2. 预准备选择Mathworks.Matlab.R2014a.Unix.iso - 右键 - 使用磁盘映像挂载器打开”，进入装载的虚拟光盘，拷贝全部文件至/home/dell/Matlab 文件夹复制Crack/install.jar至 /home/dell/Matlab/java/jar/ 并覆盖源文件

$ sudo cp install.jar /home/dell/Matlab/java/jar/

3. 授权安装文件夹

$ chmod a+x Matlab -R

4. 安装 $ sudo ./install

选项：不使用Internet

安装序列号： 12345-67890-12345-67890 

默认路径：/usr/local/MATLAB/R2014a 勾选从默认启动路径创建符号链接（实现在任意位置运行matlab启动程序）激活文件：license_405329_R2014a.lic拷贝 libmwservices.so 至 /usr/local/MATLAB/R2014a/bin/glnxa64

$ sudo cp libmwservices.so /usr/local/MATLAB/R2014a/bin/glnxa64/

5.解决编译器gcc/g++版本问题。

因为Ubuntu 15.04的gcc/g++版本是4.9.2，而Matlab 2014a（2015a）的版本是4.7.x所以在使用matla调用mex文件的时候，基本上都会报错，根据报错信息，考虑如下两步解决方案。

A. 降级安装gcc/g++版本为4.7.x

 (a). 下载gcc/g++ 4.7.x

$ sudo apt-get install -y gcc-4.7

$ sudo apt-get install -y g++-4.7

(b). 链接gcc/g++实现降级

$ cd /usr/bin$ sudo rm gcc

$ sudo ln -s gcc-4.7 gcc

$ sudo rm g++

$ sudo ln -s g++-4.7 g++

B. 暴力引用新版本GLIBCXX_3.4.20

$ sudo cp /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.20 /usr/local/MATLAB/R2014a/sys/os/glnxa64/libstdc++.so.6.0.20 （libstdc++.so.6.0.20的版本，可能因为系统不同而不同，使用最新的就可以了。）

目录切换到 /usr/local/MATLAB/R2014a/sys/os/glnxa64/ ，非常重要！

$ sudo mv libstdc++.so.6 libstdc++.so.6.backup （仅仅是备份，可以不备份，直接删除）。

$ sudo ln -s libstdc++.so.6.0.20 libstdc++.so.6

$ sudo ldconfig -v

通过命令“strings /usr/local/MATLAB/R2014a/sys/os/glnxa64/libstdc++.so.6 | grep GLIBCXX_” 可以看一下，是否已经成功包含了GLIBCXX_3.4.21，如果已经存在，基本上就成功了。 6.编译Matlab用到的caffe文件（见第三步）

第三步：Caffe-Master的安装和测试

对于Caffe的安装严格遵照官网的要求来：http://caffe.berkeleyvision.org/installation.html 

一、安装BLAS

这里可以选择（ATLAS，MKL或者OpenBLAS），我这里使用MKL，首先下载并安装英特尔® 数学内核库 Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2016)，下载链接是：https://software.intel.com/en-us/intel-education-offerings， 使用学生身份（邮件 + 学校）下载Student版，填好各种信息，可以直接下载，同时会给你一个邮件告知序列号。下载完之后，要把文件放到/home/dell文件夹。 

很多人说，下载不了，本人于2016年8月30日使用该地址下载该实验版本，仍然没有问题，请大家细心操作。

接下来是安装过程，先授权，然后安装：

$ tar zxvf parallel_studio_xe_2016.tar.gz 

$ chmod a+x parallel_studio_xe_2016 -R$ sh install_GUI.sh

二、MKL与CUDA的环境设置 1. 新建intel_mkl.conf， 并编辑之：

$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf
添加以下内容
/opt/intel/lib/intel64
/opt/intel/mkl/lib/intel64

2. 新建cuda.conf，并编辑之：

$ sudo gedit /etc/ld.so.conf.d/cuda.conf
添加以下内容
/usr/local/cuda/lib64
/lib

3. 完成lib文件的链接操作，执行：

$ sudo ldconfig -v

三、安装OpenCV 3.0.0
1. 下载并编译OpenCV（官网原版OpenCV：http://opencv.org/），或者使用我提供的修改版的安装包(前面的百度云下载)（下面的安装方式使用该包完成，安装包修改了dependencies.sh文件并增加了 OpenCV 3.0.0的安装文件）

2. 切换到文件保存的文件夹，然后安装依赖项：
$ sudo sh Ubuntu/dependencies.sh

3. 切换目录Ubuntu\3.0\安装OpenCV 3.0.0：

$ sudo sh opencv3_0_0.sh

保证网络畅通，因为软件需要联网下载，这里时间较长，请耐心等待。。。

四、安装其他依赖项1.Google Logging Library（glog），下载地址：https://code.google.com/p/google-glog/，然后解压安装： 

$ tar zxvf glog-0.3.3.tar.gz
$ chmod 777 glog-0.3.3 -R
$ ./configure
$ make
$ sudo make install

2. 其他依赖项，确保都成功

$ sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler protobuf-compiler

五、安装Caffe并测试

1. 安装pycaffe必须的一些依赖项：

$ sudo apt-get install -y python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags cython ipython

2. 安装配置nVidia cuDNN 加速Caffe模型运算a. 安装前请去先官网下载最新的cuDNN (cudnn-7.0-linux-x64-v4.0-prod)。

$ sudo cp include/cudnn.h /usr/local/include$ sudo cp lib64/libcudnn.* /usr/local/lib

b. 链接cuDNN的库文件

$ sudo ln -sf /usr/local/lib/libcudnn.so.4.0.7 /usr/local/lib/libcudnn.so.4
$ sudo ln -sf /usr/local/lib/libcudnn.so.4 /usr/local/lib/libcudnn.so
$ sudo ldconfig -v

3. 切换到Caffe-master的文件夹，生成Makefile.config配置文件，执行：

$ cp Makefile.config.example Makefile.config

4. 配置Makefile.config文件（仅列出修改部分）

a. 启用CUDNN，去掉"#" USE_CUDNN := 1

b. 配置一些引用文件（增加部分主要是解决新版本下，HDF5的路径问题）

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib/usr/lib/x86_64-linux-gnu/hdf5/serial

c. 启用Intel Parallel Studio XE 2016 BLAS := mkl

d. 配置路径，实现caffe对Python和Matlab接口的支持PYTHON_LIB := /usr/local/lib

MATLAB_DIR := /usr/local/MATLAB/R2014a

e. 启用OpenCV 3.0, 去掉"#" OPENCV_VERSION =3

5. 编译caffe-master "-j16"是使用CPU的多核进行编译，可以极大地加速编译的速度，建议使用。

$ make all -j16
$ make test -j16
$ make runtest -j16

make runtest -j16之后的正常结果，如下图所示：

6.编译Python和Matlab用到的caffe文件

$ make pycaffe -j16
$ make matcaffe -j16

六、使用MNIST数据集进行测试
Caffe默认情况会安装在$CAFFE_ROOT，就是解压到那个目录，例如：$ home/dell/caffe-master，所以下面的工作，默认已经切换到了该工作目录。下面的工作主要是，用于测试Caffe是否工作正常，不做详细评估。具体设置请参考官网：http://caffe.berkeleyvision.org/gathered/examples/mnist.html 

1. 数据预处理
$ sh data/mnist/get_mnist.sh

2. 重建lmdb文件。Caffe支持多种数据格式输入网络，包括Image(.jpg, .png等)，leveldb，lmdb，HDF5等，根据自己需要选择不同输入。
$ sh examples/mnist/create_mnist.sh
生成mnist-train-lmdb 和 mnist-train-lmdb文件夹，这里包含了lmdb格式的数据集

3. 训练mnist
$ sh examples/mnist/train_lenet.sh