Linux 16.04+Caffe+TensorFlow+CUDA9

特别说明:
0. Caffe 官网地址:http://caffe.berkeleyvision.org/
TensorFlow官网地址:http://tensorflow.google.cn
1. 本文为作者亲自实验完成,但仅限用于学术交流使用,使用本指南造成的任何不良后果由使用者自行承担,与本文作者无关,谢谢!为保证及时更新,转载请标明出处,谢谢!
2. 本文使用2017年12月20日下载的caffe-master版本。
3. 因TensorFlow最简安装对平台运行环境要求较高(稍有不匹配就容易报错,除非自行编译,但坑也不少),因此特指明我的运行环境。运行平台为:Intel i7, nVidia GTX 1080 Ti, Ubuntu 16.04,CUDA9.0,cuDNN v7 for CUDA9,Intel Parallel Studio XE Cluster 2018,OpenCV 3.3.1, Matlab 2017a
3. 为了方便大家使用,我提供一个百度云盘,用于分享部分安装过程中需要用到的软件包和链接地址(所有软件包仅供学术交流使用,请大家尽量去官网下载, Matlab 百度云禁止分享,抱歉欠奉。)。百度云盘链接:
4. 最后更新时间:2017年12月20日。

本文主要包含5个部分,包括:
- 第一部分 Linux安装
- 第二部分 nVidia CUDA Toolkit的安装(*.deb方法)
- 第三部分 TensorFlow 的安装
- 第四部分 Caffe-Master的安装和测试

第一部分 Linux安装

我的分区设置如下:
\ 根分区: 100G,
Swap交换分区:128G(等于内存大小) ,小于16G的内存,就设置成内存的1.5-2倍
boot分区:200M
Home分区:剩余的空间,多多益善

Linux安装后,启动系统出现黑画面(紫色)
1.开机,进入grub画面。选择第一项”ubuntu”,按”e”,进入编辑模式。将”quite splash”, 修改为”quite splash nomodeset”。
2.按 ”F10”启动系统。
3.进入系统后编辑 “/etc/default/grub”

    sudo gedit /etc/default/grub
找到这一行: 
GRUB_CMDLINE_LINUX_DEFAULT=”quiet splash” 
修改为: 
GRUB_CMDLINE_LINUX_DEFAULT=”quiet splash nomodeset”

4.存档
5.更新GRUB:

    sudo update-grub

6.重新开机。

第二部分:nVidia CUDA Toolkit的安装(*.deb方法)

1. 安装 CUDA Toolkit
官方下载地址:https://developer.nvidia.com/cuda-toolkit
调节nomodeset之后,驱动程序丢失会导致Linux卡顿,这时安装好CUDA就可以解决所有问题。
(CUDA默认包含显卡驱动,所以不需要额外安装显卡驱动)

    sudo dpkg -i cuda-repo-ubuntu1604-9-0-local_9.0.176-1_amd64.deb
    sudo apt-get update
    sudo apt-get install -y cuda

2. 安装 nVidia cuDNN library (cudnn-9.0-linux-x64-v7)
官方下载地址:https://developer.nvidia.com/cudnn

    tar -xzvf cudnn-9.0-linux-x64-v7.tgz
    sudo cp cuda/include/cudnn.h /usr/local/cuda/include
    sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
    sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

第三部分 TensorFlow的安装和测试

一. 安装Anaconda for Python 3.6
Anaconda官网:https://www.anaconda.com/download/

    bash ~/Downloads/Anaconda3-5.0.1-Linux-x86_64.sh 
    export  PATH=/home/shiorioxy/anaconda3/bin:$PATH

二. 安装TensorFlow
TensorFlow的安装方法很多,比较麻烦的是源码编译,需要安装合适版本的GCC和Bazel最简单的安装方法:Nightly pip packages。(重点要注意whl文件的python版本需要和系统的python版本一致。)

    pip install tf-nightly-gpu

测试一下,是否安装正常:

    import tensorflow as tf
    hello = tf.constant("Hello, TensorFlow!")
    sess = tf.Seesion()
    print(sess.run(hello))

第四部分 Caffe-Master的安装和测试

一. Matlab安装
安装较简单,这里不再复述。
Matlab安装后,无法通过运行matlab命令启动:

    export PATH=$PATH:/usr/local/MATLAB/R2017a/bin/

二. 安装BLAS
这里可以选择(ATLAS,MKL或者OpenBLAS),我这里使用MKL,因为它最快。首先下载并安装英特尔® 数学内核库 Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2018),下载链接是:https://software.intel.com/en-us/qualify-for-free-software/student, 使用学生身份(邮件 + 学校)下载Student版,填好各种信息,可以直接下载,同时会给你一个邮件告知序列号。下载完之后,要把文件解压到home文件夹(注意任何一级文件夹不能包含空格,否则安装会失败)

$ tar zxvf parallel_studio_xe_2018.tar.gz (如果你是直接拷贝压缩文件过来的)
$ chmod a+x parallel_studio_xe_2018 -R
$ sh install_GUI.sh

PS: 安装的时候,建议使用root权限安装,过程中会要求输入Linux的root口令。(设置方法:命令行:$ sudo passwd)

三. MKL与CUDA的环境设置
1.新建intel_mkl.conf, 并编辑之:

$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf
/opt/intel/lib/intel64
/opt/intel/mkl/lib/intel64

2.新建cuda.conf,并编辑之:

$ sudo gedit /etc/ld.so.conf.d/cuda.conf
/usr/local/cuda/lib64
/lib

3.完成lib文件的链接操作,执行:

$ sudo ldconfig -v

四.安装OpenCV 3.3.1
1.下载并编译OpenCV(修改版的安装包(前面的百度云下载))
2.切换到文件保存的文件夹,然后安装依赖项和OpenCV:

$ sudo sh dependencies.sh
$ sudo sh opencv3_3_1.sh

五、安装其他依赖项

    sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler apt-get install -y python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags cython ipython

六、安装Caffe并测试
1.切换到Caffe-master的文件夹,生成Makefile.config配置文件,执行:

$ cp Makefile.config.example Makefile.config

4.配置Makefile.config文件(仅列出修改部分)
a. 启用CUDNN,去掉”#”

USE_CUDNN := 1

b. 配置一些引用文件(增加部分主要是解决新版本下,HDF5的路径问题)

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial

c. 启用Intel Parallel Studio XE 2018

BLAS := mkl

d. 配置路径,实现caffe对Python和Matlab接口的支持

PYTHON_LIB := /usr/local/lib
MATLAB_DIR := /usr/local/MATLAB/R2017a

c. 启用OpenCV 3.0, 去掉”#”

OPENCV_VERSION =3

6.编译caffe-master!!!”-j16”是使用CPU的多核进行编译,可以极大地加速编译的速度,建议使用。

$ make all -j8
$ make test -j8
$ make runtest -j8
$ make pycaffe -j8
$ make matcaffe -j8

七. 使用MNIST数据集进行测试
Caffe默认情况会安装在 Caffe-master,就是解压到那个目录,例如:$ home/username/caffe-master,所以下面的工作,默认已经切换到了该工作目录。下面的工作主要是,用于测试Caffe是否工作正常,不做详细评估。具体设置请参考官网:http://caffe.berkeleyvision.org/gathered/examples/mnist.html
1.数据预处理

$ sh data/mnist/get_mnist.sh

2.重建lmdb文件。Caffe支持多种数据格式输入网络,包括Image(.jpg, .png等),leveldb,lmdb,HDF5等,根据自己需要选择不同输入吧。

$ sh examples/mnist/create_mnist.sh

生成mnist-train-lmdb 和 mnist-train-lmdb文件夹,这里包含了lmdb格式的数据集

3.训练mnist

$ sh examples/mnist/train_lenet.sh

至此,Caffe安装的所有步骤完结,下面是一组简单的数据对比,实验来源于MNIST数据集,主要是考察一下不同系统下CPU和GPU的性能。可以看到明显的差别了,虽然MNIST数据集很简单,相信复杂得数据集,差别会更大,Ubuntu+GPU是唯一的选择了。

测试平台1:i7-7700K/16G/GTX 1080 Ti/CUDA 9.0
MNIST Ubuntu 16.04 on GPU with cuDNN7: 12s (Caffe)
MNIST Ubuntu 16.04 on GPU with cuDNN7: 27s (TensorFlow)
测试平台2:技嘉P35X v3,i7-4720HQ@2.6G/16G/NVidia GTX 980 8G
MNIST Ubuntu 15.04 on GPU with cuDNN:33s
测试平台3:Dell 7910,E5 2623v3 3.0G *2 /128G/ NVidia Titan X 12G
MNIST Ubuntu 15.04 on GPU with cuDNN:23s 
测试平台42*E5-2620(12CPUs)/128G/Tesla K20M/CUDA5.5/CentOS 6.4
MNIST CentOS 6.4 on GPU:294s
测试平台5:Tesla K40M/CUDA6.5/ubuntu 14.04
MNIST on GPU with cuDNN:30s
测试平台6:GTX 660/CUDA6.5/ubuntu 14.04
MNIST on GPU with cuDNN:49s
测试平台1:i7-4770K/16G/GTX 770/CUDA 6.5
MNIST Windows8.1 on CPU:620s
MNIST Windows8.1 on GPU:190s
MNIST Ubuntu 14.04 on CPU:270s 
MNIST Ubuntu 14.04 on GPU:160s
MNIST Ubuntu 14.04 on GPU with cuDNN:30s
Cifar10_full on GPU wihtout cuDNN:73m45s = 4428s (Iteration 70000)
Cifar10_full on GPU with cuDNN:20m7s = 1207s (Iteration 70000
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页