超详细配置Caffe(gpu版本+ubuntu16.04)考虑各种问题

最新推荐文章于 2024-02-01 13:30:44 发布

A_Z666666

最新推荐文章于 2024-02-01 13:30:44 发布

阅读量1.9w

点赞数 4

分类专栏：深度学习文章标签： ubuntu caffe配置经验

本文链接：https://blog.csdn.net/a_z666666/article/details/72853346

版权

深度学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

作为人类一员，知识和经验有责任去传承，所以在经过很多次对caffe的配置后，写出配置的全过程让后来者少走弯路，网上各种教程多少都有些问题，以下是博主对网上各种教程的整合。废话不多说，开始：
如果刚装Ubuntu系统的话，一定要先换源，不然很多软件都装不上：即点开右上角的设置按钮，点系统设置，然后单击Software&Update，
这里写图片描述

勾选source code ,点开Download from,选择other,在里面选择中国的源，我选的是aliyun的，亲测好使。

下载搜狗输入法http://pinyin.sogou.com/linux/?r=pinyin，下载完成后直接双击安装包即可安装。

1.安装相关依赖项（直接打开终端一条条执行即可）

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

2.安装NVIDIA驱动
(1)查询NVIDIA驱动型号：
首先去官网 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看适合自己显卡的驱动并下载：
驱动文件后缀名应当是以.run结尾的（即现在选项第一个）。我们要把这个文件移动到家目录下，原因是下面我们要切换到文字界面下，如果放到~/下载下面，我们没有办法进入下载这个目录（没有中文输入法，且中文全部是乱码）
图1.输入显卡型号
这里写图片描述
图2.显卡驱动搜索结果

我的显卡型号是GEFORCE 610M(notebook)，系统是linux 64位，按照要求选择后点击search. 图2是搜索结果。

（2）接下来就是自己安装显卡驱动了：

.卸载你电脑中此刻有的nvidia的驱动。（复制命令就行，方便，后面也一样）

sudo apt-get remove –purge nvidia*

运行了这个命令之后，你系统中的NVIDIA的一些驱动就应该被卸载了。

2.添加一个PPA到系统，等一下安装驱动要用的。复制下面的话命令就行（放在这里是因为你现在还在图形界面，复制方便）

sudo add-apt-repository ppa:graphics-drivers/ppa

复制完上面那个命令执行之后，千万记得sudo apt-get update
重启电脑。

3.上面的准备工作做完，马上就要脱离图形界面进入字符界面了，要是这个时候你看不到教程，还是推荐用手机或者平板边看教程边操作。按CTRL+ATL+F1进入终端1（输入用户名和密码后和终端很相似，可以大胆进去），
在终端下面运行：

sudo service lightdm stop（关闭图形界面）

然后运行：

sudo apt-get install nvidia-384（我前面说过我的驱动是384，就写384，你的是什么就写什么）

然后就等待驱动安装好。。。。。
安装好之后，运行sudo service lightdm start来启动图形界面，并且登录。然后，你这个时候应该又回到图形界面了。
这时候你可以运行：nvidia-smi来看是不是能够输出你的GPU的一些信息。要是不能够输出的话，重启。能够输出的话，也建议重启一次。
这里写图片描述

3.安装CUDA（这里我安装的是cuda8.0+cudnn5.1,一开始安装的cuda9.0+cudnn7出现无法解决的错误）：
CUDA是NVIDIA的编程语言平台，想使用GPU就必须要使用cuda。
（1）下载CUDA
首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA：
这里写图片描述
（2）下载完成后执行以下命令：
sudo chmod 777 cuda_8.0.44_linux.run（输入自己下载的cuda文件名，因为软件要进行更新优化，所以过一段时间名字就会略有不同）

下面安装时要注意：执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia367驱动时，一定要选择否：
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
因为前面我们已经安装了更加新的nvidia367，所以这里不要选择安装。其余的都直接默认或者选择是即可。
安装：sudo ./cuda_8.0.44_linux.run
(3)环境变量配置
打开~/.bashrc文件： sudo gedit ~/.bashrc
将以下内容写入到~/.bashrc尾部：

export  PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export  LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

(4)测试CUDA的samples
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
make
sudo ./deviceQuery
如果显示一些关于GPU的信息，则说明安装成功。
这里写图片描述

4.配置cuDNN
首先，看看自己电脑的计算能力，如果自己电脑计算能力不超过3就不要进行这一步了，因为cuDNN仅能在计算能力为3以上的电脑上运行，强行装的话后面安装Caffe时会报错。查看自己电脑显卡的计算能力：https://developer.nvidia.com/cuda-gpus
cuDNN是GPU加速计算深层神经网络的库。
首先去官网 https://developer.nvidia.com/rdp/cudnn-download 下载cuDNN，需要注册一个账号才能下载。下载版本号如下图：
这里写图片描述
下载cuDNN5.1之后进行解压：
sudo tar -zxvf ./cudnn-8.0-linux-x64-v5.1.tgz

   cd cuda; sudo cp lib64/lib* /usr/local/cuda/lib64/; 
   sudo cp include/cudnn.h /usr/local/cuda/include/  
   更新软连接: cd /usr/local/cuda/lib64/
   sudo chmod +r libcudnn.so.5.1.10
   sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5
   sudo ln -sf libcudnn.so.5 libcudnn.so
   sudo ldconfig

请注意，请到自己解压后的lib64文件夹看这个文件libcudnn.so.5.0.5 ，电脑配置不同后面的数字型号不同，进行相应的修改，否则会报错。

5.安装opencv3.1
首先肯定是先安装依赖了，官方列出了一些：

    sudo apt-get install build-essential
    sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
    sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
    sudo apt-get install --assume-yes libopencv-dev libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip
    sudo apt-get install ffmpeg libopencv-dev libgtk-3-dev python-numpy python3-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libv4l-dev libtbb-dev qtbase5-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev

在你喜欢的地方建立一个工作目录，随便什么名字，就在home目录下面建立了一个OpenCV的目录
mkdir OpenCV
进入这个工作目录（OpenCV）然后用git克隆官方的项目（下载接受会需要一点时间，等待）

cd Opencv
git clone https://github.com/opencv/opencv.git
git clone https://github.com/opencv/opencv_contrib.git

克隆好了之后，你就会看见你的工作目录（OpenCV）下面有了两个项目的文件夹opencv了。
进入到你下载的那个opencv文件夹，这时候建立一个build的文件夹，用来接收cmake之后的文件。
cd build进入到build里面，运行这句命令（直接复制就行）：

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D BUILD_TIFF=ON ..

这里要解释一下，后面是一个空格加上两个点，不要搞错了。
运行之后，下图表示cmake完成了。
这里写图片描述

编译：
sudo make -j16
-j16表示并行计算，根据自己电脑的配置进行设置，配置比较低的电脑可以将数字改小或不使用，直接输make。
可能出现问题：
这里写图片描述

这是因为opecv3.0与cuda8.0不兼容导致的。解决办法：修改～/opencv/modules/cudalegacy/src/graphcuts.cpp文件内容，如图：

其中， #if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000) 是我们修改的。
以上只是将opencv编译成功，还没将opencv安装，需要运行下面指令进行安装：
sudo make install

安装Python:

   sudo apt-get install -y python-pip
   sudo apt-get install -y python-dev
   sudo apt-get install -y python-numpy python-scipy
   cd $(caffe_root)/python
   sudo su
   for req in $(cat requirements.txt); do pip install $req; done

7.配置caffe
(1)使用Git直接下载Caffe非常简单，或者去https://github.com/BVLC/caffe下载。由于我习惯去github上找代码，所以就直接去下载的源码。
下载完成后，会在家目录下的下载里找到caffe-master.zip，用unzip命令解压到家目录下，然后重命名为caffe.
(2)因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子，因此，首先将Makefile.config.example的内容复制到Makefile.config： sudo cp Makefile.config.example Makefile.config
(3) 打开并修改配置文件：
sudo gedit Makefile.config #打开Makefile.config文件根据个人情况修改文件：
//可以都修改
a.若使用cudnn，则
将#USE_CUDNN := 1
修改成：
USE_CUDNN := 1
b.若使用的opencv版本是3的，则
将#OPENCV_VERSION := 3
修改为：
OPENCV_VERSION := 3
c.若要使用python来编写layer，则
将 #WITH_PYTHON_LAYER := 1
修改为 WITH_PYTHON_LAYER := 1
d.重要的一项 :
将 # Whatever else you find you need goes here. 下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib

修改为：（主要路径间的空格）

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial

要是你是用的anaconda的话，还需要改一些地方
这里写图片描述
把之前的PYTHON_INCLUDE加上注释，把ANACONDA_HOME以及下面的PYTHON_INCLUDE 都去掉，并且改为如下图最终的样子。

这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.
e.
将：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

替换为：
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/

(4)修改makefile文件
打开makefile文件，做如下修改：
a.
将(大概409行的样子)：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

b.
将（大概181行）：

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改为：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

(5)
a.
编辑/usr/local/cuda/include/host_config.h
将其中的第115行注释掉：
将#error– unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error– unsupported GNU version! gcc versions later than 4.9 are not supported!

b.（这一步不需要做啦）
#将一些文件复制到/usr/local/lib文件夹下：#注意自己CUDA的版本号！
#sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 #&& sudo ldconfig
#sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 #&& sudo ldconfig
#sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 #&& sudo ldconfig
#sudo cp /usr/local/cuda-8.0/lib64/libcudnn.so.5 /usr/local/lib/libcudnn.so.5 && #sudo ldconfig

(6)编译与测试

make all -j16
make test -j16
make runtest -j16 #使用CPU多核同时进行编译

在编译caffe runtest时候，可能出现以下问题：
/sbin/ldconfig.real: /usr/lib/nvidia-375/libEGL.so.1 不是符号连接
/sbin/ldconfig.real: /usr/lib32/nvidia-375/libEGL.so.1 不是符号连接。
解决方法：
sudo mv /usr/lib/nvidia-375/libEGL.so.1 /usr/lib/nvidia-375/libEGL.so.1.org
sudo mv /usr/lib32/nvidia-375/libEGL.so.1 /usr/lib32/nvidia-375/libEGL.so.1.org
sudo ln -s /usr/lib/nvidia-375/libEGL.so.375.39 /usr/lib/nvidia-375/libEGL.so.1
sudo ln -s /usr/lib32/nvidia-375/libEGL.so.375.39 /usr/lib32/nvidia-375/libEGL.so.1

如果运行之后出现下图，说明caffe配置成功。
这里写图片描述

问题：import caffe失败 No module named caffe
解决思路:基本思路是把caffe中的python导入到解释器中。
解决方法：
gedit ~/.bashrc
最后加上：export PYTHONPATH=~/caffe/python
source ~/.bashrc
成功！
到此caffe配置完毕！

MNIST数据集测试
配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：
1.将终端定位到Caffe根目录
cd ~/caffe
2.下载MNIST数据库并解压缩
./data/mnist/get_mnist.sh
3.将其转换成Lmdb数据库格式
./examples/mnist/create_mnist.sh
4.训练网络
./examples/mnist/train_lenet.sh
训练的时候可以看到损失与精度数值，如下图：
这里写图片描述
可以看到最终训练精度是0.9914。

打赏

这里写图片描述

参考：http://www.linuxdiyf.com/linux/27429.html
blog.csdn.net/xierhacker/article/details/53035989
http://blog.csdn.net/autocyz/article/details/52299889
http://blog.csdn.net/u014696921/article/details/70101461
http://www.knowsky.com/1055561.html

A_Z666666

关注

4
点赞
踩
29

收藏

觉得还不错? 一键收藏
14
评论
超详细配置Caffe(gpu版本+ubuntu16.04)考虑各种问题

作为人类一员，知识和经验有责任去传承，所以在经过很多次对caffe的配置后，写出配置的全过程让后来者少走弯路，网上各种教程多少都有些问题，以下是博主对网上各种教程的整合。废话不多说，开始：如果刚装Ubuntu系统的话，一定要先换源，不然很多软件都装不上：即点开右上角的设置按钮，点系统设置，然后单击Software&Update，勾选source code ,点开Download from,选
复制链接

扫一扫