我这两周安装了很多次caffe,一直都是按照网上的教程,资料很多,但是说的感觉都不太全面,对于我这一个首次接触Ubuntu系统的小白而言,每一步操作都是感觉如临深渊。所以想写一篇教程,避免大家重蹈我的覆辙。以下,就开始进入正题:
想要安装caffe跑深度学习的人注意了,这里面包括好几步,请一步一步来,个人感觉一蹴而就容易出问题,首先就是安装nvidia驱动,我看网上很多例程说是可以和cuda一起安装,但是一旦出了问题就不知道在哪里了,而且很容易出错!!!血和泪的教训啊!!!所以还是一步步来。
网上有很多安装NVIDIA驱动的教程,90%都说用下载.run文件,然后安装,然而我安装后使用nvidia-smi命令出现的却没有正在运行时的线程(这个问题我之前没有足够的重视,造成最后出现很多问题),而且ppa安装方式确实简单,还安全。建议大家使用这种方式。
1、PPA安装NVIDIA驱动
(1)禁用nouveau
sudo gedit /etc/modprobe.d/blacklist.conf
在最后另起一行添加如下
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist rivatv
blacklist nvidiafb
进行更新保存
sudo update-initramfs -u
接下来关机重启之后,在终端输入
lsmod | grep nouveau
若没有输出,则证明关闭nouveau成功!
(2)PPA安装NVIDIA驱动
添加Graphic Drivers PPA
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt-get update
查找合适的版本
ubuntu-drivers devices
其中一个driver后面加上了recommend字样,记住该版本,这个版本就是你要安装的NVIDIA驱动版本
确定版本之后,接下来就进入到正式安装了!!!
在进入安装之前,建议没设置root密码的设置一下,因为一会儿用得到,很简单,在终端输入
sudo passwd
接下来设置的root密码
输入新的UNIX密码:
重新输入新的UNIX密码:
passwd:已成功更新密码
设置完成后,按Ctrl+Alt+F1进入终端模式
输入你的账号密码后,获取你的root权限,输入su,之后输入你设置的root密码后,即获得root权限(若不获取,之后可能会出现权限问题)
接着,输入以下命令关闭图形界面
sudo service lightdm stop
安装driver,后面的数字修改为相应的版本号。
sudo apt-get install nvidia-396
等待一段时间之后(需要一会儿),之后直接重启
sudo reboot
验证是否成功
sudo nvidia-smi
注意Processes一栏,若出现如图所示的线程信息,则成功,否则就有问题了!!!
(3)配置环境变量
使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc
打开后在文件最后加入以下两行内容,然后保存退出:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
2、安装CUDA(最好是cuda8.0+cudnn5.1)
由于现在官网下载都是最新版的,而大多数用的都是cuda8.0版本,所以这里分享给你们百度云链接:
https://pan.baidu.com/s/1mkEPRYPWpwLS6sNtE1Gn8A 密码:8fw8
(1)安装cuda
下载完成后开始安装cuda,在终端里执行命令
sudo chmod 777 cuda_8.0.61_375.26_linux.run
sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs
注意,这里的cuda后面的数字是我安装的版本号,我的百度云链接的cuda版本也是这个。还有要注意的就是,建议大家把软件包都放在根目录下,以便于安装,若直接放在下载文件下,终端输入中文识别有问题。
下面安装时要注意:执行后会有一系列提示让你确认,但是注意,在accept之后,第二步就是问你是否安装nvidia375驱动,这个时候输入n。
剩下的选择则都输入“y”确认安装或确认默认路径安装,开始安装,安装完成后最好还是重启一下,输入命令
reboot
重新登陆后,打开终端,配置cuda环境变量,打开~/.bashrc文件
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(2)测试cuda是否安装正确
在终端输入命令:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery
若显示这样的内容,则证明你的cuda安装成功了!!
./deviceQuery Starting...
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GT 740M"
CUDA Driver Version / Runtime Version 8.0 / 8.0
CUDA Capability Major/Minor version number: 3.5
Total amount of global memory: 2004 MBytes (2100953088 bytes)
( 2) Multiprocessors, (192) CUDA Cores/MP: 384 CUDA Cores
GPU Max Clock rate: 1032 MHz (1.03 GHz)
Memory Clock rate: 800 Mhz
Memory Bus Width: 64-bit
L2 Cache Size: 524288 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent copy and kernel execution: Yes with 1 copy engine(s)
Run time limit on kernels: No
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GT 740M
Result = PASS
3、安装cudnn
这就要求你事先对自己的电脑有所了解了,尤其是显卡,你可以通过https://developer.nvidia.com/cuda-gpus查询自己电脑的计算能力,大于3的,装cudnn才有意义。
cudnn需要去官网下载,而去官网下载还需要注册,很麻烦,我就把我的百度云链接发出来,供大家下载
链接:https://pan.baidu.com/s/1O7vvWEAvAHbHVCQOboav5A 密码:f20o
下载cuDNN5.1之后进行解压,XXX是你自己的注册账号。
sudo tar -zxvf /home/XXX/cudnn-8.0-linux-x64-v5.1.tgz -C /home/XXX
解压之后,你会在跟目录下看见cuda文件夹,在终端执行命令
cd cuda; sudo cp lib64/lib* /usr/local/cuda/lib64/;
sudo cp include/cudnn.h /usr/local/cuda/include/
更新软连接: cd /usr/local/cuda/lib64/
sudo chmod +r libcudnn.so.5.1.10
sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5
sudo ln -sf libcudnn.so.5 libcudnn.so
sudo ldconfig
注意,请到自己解压后的lib64文件夹看这个文件libcudnn.so.5.0.5 ,电脑配置不同后面的数字型号不同,进行相应的修改,否则会报错。
安装完成后可用 nvcc -V 命令验证是否安装成功,若出现以下信息则表示安装成功:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Tue_Jan_10_13:22:03_CST_2018
Cuda compilation tools, release 8.0, V8.0.61
4、安装opencv3.1.0
首先是下载opencv3.1.0安装包,进入官网: http://opencv.org/releases.html,选择 3.1.0 版本的 source , 下载 opencv-3.1.0.zip
安装opencv需要的一些库,这个是都需要安装的,能安装的尽量都安装上。
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
sudo apt-get install --assume-yes libopencv-dev libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip
sudo apt-get install ffmpeg libopencv-dev libgtk-3-dev python-numpy python3-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libv4l-dev libtbb-dev qtbase5-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev
将安装包放在根目录下,进行解压
unzip opencv-3.1.0.zip
解压后,由于opencv3与cuda的兼容问题,所以需要修改一下,修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 文件内容,修改成如图
再执行命令
cd opencv-3.1.0
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make -j4
编译成功后进行安装
sudo make install
安装完成后通过查看 opencv 版本验证是否安装成功:
pkg-config --modversion opencv
5、安装caffe
终于可以安装caffe了,使用Git直接下载Caffe非常简单,或者去https://github.com/BVLC/caffe下载。由于我习惯去github上找代码,所以就直接去下载的源码。
将caffe-master放在根目录下,解压
unzip caffe-master.zip
将解压后的文件夹的名字改为caffe,因为make指令只能make Makefile.config文件,而Makefile.config.example是caffe给出的makefile例子,因此,首先将Makefile.config.example的内容复制到Makefile.config
cd caffe
sudo cp Makefile.config.example Makefile.config
打开Makefile.config文件
sudo gedit Makefile.config
在打开的文件中修改如下
a.若使用cudnn,则 将
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
b.若使用的opencv版本是3的,则 将
#OPENCV_VERSION := 3
修改为:
OPENCV_VERSION := 3
c.若要使用python来编写layer,则 将
#WITH_PYTHON_LAYER := 1
修改为
WITH_PYTHON_LAYER := 1
d.重要的一项 :
将 # Whatever else you find you need goes here. 下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
若你用的是anaconda,则还需要修改
# NOTE: this is required only if you will compile the python interface.
# We need to be able to find Python.h and numpy/arrayobject.h.
#PYTHON_INCLUDE := /usr/include/python2.7 \
#/usr/lib/python2.7/dist-packages/numpy/core/include
# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
ANACONDA_HOME := $(HOME)/anaconda
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
$(ANACONDA_HOME)/include/python2.7 \
$(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include
修改makefile文件
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改为:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
编辑/usr/local/cuda/include/host_config.h 将其中的第115行注释掉:
也许你打开后的文件显示只读,这时你就在此文件夹打开终端,执行命令将其改为可写
chmod a+w host_config.h
将
#error– unsupported GNU version! gcc versions later than 4.9 are not supported!
修改为
//#error– unsupported GNU version! gcc versions later than 4.9 are not supported!
接下来就是编译测试了!!!
在caffe文件夹下,执行命令
sudo make all -j4
这是如果之前的配置或安装出错,那么编译就会出现各种各样的问题,所以前面的步骤一定要细心。我之前子啊这里出现很多错误,也遇到很多问题,有的看别人的教程能解决,有的解决不了的就只能系统重装!
如果没有问题,那么执行
sudo make runtest -j8
这会经历一段时间,测试很多项是否正确,如果都没有问题,那么就会出现如图所示的画面
大功告成!!!!!