Linux 16.04+Caffe+TensorFlow+CUDA9

详细说明：

1. Caffe 官网地址：http://caffe.berkeleyvision.org/ 

    TensorFlow官网地址：http://tensorflow.google.cn

2. 本安装方法参考欧新宇老师博客：点击打开链接 https://blog.csdn.net/shiorioxy/article/details/78850199

3. 运行平台为：Intel i5, nvidia GTX 1080 Ti, Ubuntu 16.04，CUDA9.0，cuDNN v7 for CUDA9，Intel Parallel Studio 

                         XE Cluster 2018，OpenCV 3.3.1, Matlab 2017a （特别注意软件版本匹配问题，多数巨坑源于此！）

4. 软件包百度云盘下载链接（永久有效）：点击打开链接 https://pan.baidu.com/s/14iW_ZOLAkLGf4BiWL8-2kQ 提取码：er9c

5. 最后更新时间：2018.5.22

本文主要包含5个部分，包括： 
- 第一部分 Linux安装 
- 第二部分 nVidia CUDA Toolkit的安装（*.deb方法） 
- 第三部分 TensorFlow 的安装 

- 第四部分 Caffe-Master的安装和测试

第一部分 Linux安装

一、Ubuntu分区设置如下： 

\ 根分区： 100G  （主分区）

Swap交换分区：128G（等于内存大小） ，小于16G的内存，就设置成内存的1.5-2倍 （逻辑分区）

\boot分区：500M  （主分区）

Home分区：剩余的空间，多多益善 （逻辑分区）

二、Linux安装后，启动系统出现黑画面（紫色） 
1.开机，进入grub画面。选择第一项”ubuntu”，按”e”，进入编辑模式。将”quite splash”, 修改为”quite splash nomodeset”。 
2.按 ”F10”启动系统。 
3.进入系统后编辑 “/etc/default/grub”

sudo gedit /etc/default/grub
找到这一行: 
GRUB_CMDLINE_LINUX_DEFAULT=”quiet splash” 
修改为： 
GRUB_CMDLINE_LINUX_DEFAULT=”quiet splash nomodeset”

4.存档 
5.更新GRUB：

sudo update-grub

6.重新开机。

第二部分：nVidia CUDA Toolkit的安装（*.deb方法）

一、安装 CUDA Toolkit 
官方下载地址：点击打开链接  https://developer.nvidia.com/cuda-toolkit
调节nomodeset之后，驱动程序丢失会导致Linux卡顿，这时安装好CUDA就可以解决所有问题。 

（CUDA默认包含显卡驱动，所以不需要额外安装显卡驱动）

sudo dpkg -i cuda-repo-ubuntu1604-9-0-local_9.0.176-1_amd64.deb
sudo apt-get update
sudo apt-get install -y cuda

二、安装 nVidia cuDNN library (cudnn-9.0-linux-x64-v7) 

官方下载地址：点击打开链接 https://developer.nvidia.com/cudnn

tar -xzvf cudnn-9.0-linux-x64-v7.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

第三部分 TensorFlow的安装和测试

一、安装Anaconda for Python 3.6 

Anaconda官网：点击打开链接  https://www.anaconda.com/download/

bash ~/Downloads/Anaconda3-5.0.1-Linux-x86_64.sh 
export  PATH=/home/shiorioxy/anaconda3/bin:$PATH

二、安装TensorFlow 

TensorFlow的安装方法很多，比较麻烦的是源码编译，需要安装合适版本的GCC和Bazel最简单的安装方法：Nightly pip packages。（重点要注意whl文件的python版本需要和系统的python版本一致。）

pip install tf-nightly-gpu

测试一下，是否安装正常：

import tensorflow as tf
hello = tf.constant("Hello, TensorFlow!")
sess = tf.Session()
print(sess.run(hello))

第四部分 Caffe-Master的安装和测试

一、Matlab安装 
安装较简单， 具体安装方法可以参考 点击打开链接  https://blog.csdn.net/u011713358/article/details/69659265
Matlab安装后，无法通过运行matlab命令启动：

export PATH=$PATH:/usr/local/MATLAB/R2017a/bin/

二、安装BLAS 

这里可以选择（ATLAS，MKL或者OpenBLAS），我这里使用MKL，因为它最快。首先下载并安装英特尔® 数学内核库 Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2018)，(软件包里已有)下载链接是：点击打开链接 https://software.intel.com/en-us/qualify-for-free-software/student 使用学生身份（邮件 + 学校）下载Student版，填好各种信息，可以直接下载，同时会给你一个邮件告知序列号。下载完之后，要把文件解压到home文件夹(注意任何一级文件夹不能包含空格，否则安装会失败)

tar zxvf parallel_studio_xe_2018.tar.gz （如果你是直接拷贝压缩文件过来的）
chmod a+x parallel_studio_xe_2018 -R
sh install_GUI.sh

Note: 安装的时候，建议使用root权限安装，过程中会要求输入Linux的root口令。（设置方法：命令行：$ sudo passwd）
三、MKL与CUDA的环境设置 
1.新建intel_mkl.conf， 并编辑之：

$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf
/opt/intel/lib/intel64
/opt/intel/mkl/lib/intel64

2.新建cuda.conf，并编辑之：

$ sudo gedit /etc/ld.so.conf.d/cuda.conf
/usr/local/cuda/lib64
/lib

3.完成lib文件的链接操作，执行：

$ sudo ldconfig -v

四.安装OpenCV 3.3.1 
1.下载并编译OpenCV（前面的百度云下载） 
2.切换到文件保存的文件夹，然后安装依赖项和OpenCV：
3.具体安装方法参考：点击打开链接 

https://blog.csdn.net/pkokocl/article/details/78777651

五、安装其他依赖项

sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags cython ipython

六、安装Caffe并测试 
1.切换到Caffe-master的文件夹，生成Makefile.config配置文件，执行：

cp Makefile.config.example Makefile.config

2.配置Makefile.config文件（仅列出修改部分） 

a. 启用CUDNN，去掉”#”

USE_CUDNN := 1

b. 配置一些引用文件（增加部分主要是解决新版本下，HDF5的路径问题）

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial

c. 启用Intel Parallel Studio XE 2018

BLAS := mkl

d. 配置路径，实现caffe对Python和Matlab接口的支持

PYTHON_LIB := /usr/local/lib
MATLAB_DIR := /usr/local/MATLAB/R2017a

c. 启用OpenCV 3.0, 去掉”#”

OPENCV_VERSION =3

3.编译caffe-master！！！”-j16”是使用CPU的多核进行编译，可以极大地加速编译的速度，建议使用。

make all -j8
make test -j8
make runtest -j8
make pycaffe -j8
make matcaffe -j8

七. 使用MNIST数据集进行测试 

Caffe默认情况会安装在 Caffe-master，就是解压到那个目录，例如：$ home/username/caffe-master，所以下面的工作，默认已经切换到了该工作目录。下面的工作主要是，用于测试Caffe是否工作正常，不做详细评估。具体设置请参考官网：点击打开链接  http://caffe.berkeleyvision.org/gathered/examples/mnist.html

1.数据预处理

sh data/mnist/get_mnist.sh

2.重建lmdb文件。Caffe支持多种数据格式输入网络，包括Image(.jpg, .png等)，leveldb，lmdb，HDF5等，根据需要选择。

sh examples/mnist/create_mnist.sh

生成mnist-train-lmdb 和 mnist-train-lmdb文件夹，这里包含了lmdb格式的数据集

3.训练mnist

sh examples/mnist/train_lenet.sh

至此，Caffe安装的所有步骤完结。测试成功会出现如下结果：