linux cd $caffe root,caffe安装

之前看SSD的论文，想跑一下caffe代码，就试图安装caffe，但由于是在服务器上，没有root权限，本来很简单的apt-get install安装依赖变得极其繁杂，参见https://www.tlanyan.me/work-with-linux-without-root-permission，看到一篇linux无root安装caffe，就跟着操作，然而貌似因为包的依赖关系，安装的包在用户下，但是这个包的一些依赖在系统里面，然后是一堆“找不到”的问题，linux我还不熟悉，不知道该怎么定位路径什么的，就不了了之。虽然一点不会caffe，但总想把它装一下，昨天看到一篇博客Caffe安装，发现目的一样，就跟着弄起来了。

因为我是用anaconda安装python的，所以这篇就是要在anaconda下的python里调用caffe。

参考：

Caffe安装

官方文档

linux-no-root-install-log

电脑环境：

Ubuntu 16.04.3 LTS cat /etc/issue (其实我一直以为是14.04，应该没什么关系。)

NVIDIA UNIX x86_64 kernel Module 390.67，驱动版本，cat /proc/driver/nvidia/version

CUDA 8.0.61 nvcc -V

cuDNN 不知道啥版本

gcc 5.4.0 gcc --version

g++ 5.4.0 g++ --version

anaconda

anaconda的安装可参考我之前的博客：anaconda总结。安装的时候竟然没提示加入环境变量，手动添加:

1

2echo 'export PATH=/home/shaoxiaowen/anaconda3/bin:$PATH' >> ~/.bashrc

source ~/.bashrc

这边安装的是anaconda3，python版本是3.6.5。

安装完之后更新conda，conda update conda

caffe依赖安装

官网上指示了caffe的依赖有：

1.CUDA，for GPU，版本7+，建议最新版，6._也可以。

2.cuDNN，for GPU加速，v6。

3.BLAS(ATLAS/MKL/OpenBLAS)

4.Boost >= 1.55

5.protobuf、glog、gflags、hdf5

6.OpenCV >= 2.4

7.IO库：lmdb、leveldb(leveldb需要snappy)

CUDA

服务器上CUDA已经配置好了，将CUDA路径加入用户目录下的$PATH和$LD_LIBRARY_PATH：

1

2

3echo 'export PATH=/usr/local/cuda-8.0/bin:$PATH' >> ~/.bashrc

echo 'export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc

source ~/.bashrc

用conda安装依赖

我没有用conda创建新的环境，而是用的默认环境。在linux-no-root-install-log上，没有root权限时，caffe依赖都是手动安装，先下载安装包，然后安装时更改安装目录。这边我发现可以直接用conda安装依赖，(只要这些依赖在~/anaconda3/include，~/anaconda3/lib里面，然后anaconda是添加到用户环境变量里面的，所以这些依赖可以覆盖系统的依赖 而被调用)。其实caffe貌似可以直接用conda安装，在博客网页查询里面有链接。安装依赖命令：

conda install boost hdf5 snappy leveldb lmdb gflags glog

hdf5 、snappy没有被安装，anaconda里面包含了这两个包。安装完，我发现这些包都在~/anaconda3/lib和~/anaconda3/include里面，所以就没添加到用户环境变量。

protobuf

注意：protobuf不在~/anaconda3/include目录下，而是~/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0，所以需要添加到环境变量中。

1

2

3

4

5

6protoc --version # 查看系统protoc版本

conda install protobuf==3.5.1

echo 'export PATH=/home/shaoxiaowen/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0/bin:$PATH' >> ~/.bashrc

echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0/lib:$LD_LI``BRARY_PATH' >> ~/.bashrc

source ~/.bashrc

protoc --version # 查看当前protoc版本

到release页面下载和protoc(即protobuf-cpp)版本一样的protobuf-python，然后：

1

2

3

4

5

6tar -xzvf protobuf-python-3.5.1.tar.gz

cd protobuf-python-3.5.1

cd python

python setup.py build

python setup.py test

python setup.py install

这样protobuf python runtime就编译和安装好了。

conda list | grep protobuf，查看protobuf安装情况。

OpenBLAS1

2

3

4

5

6git clone https://github.com/xianyi/OpenBLAS.git

cd OpenBLAS

make FC=gfortran -j $(($(nproc) + 1))

make PREFIX=~/Openblas install

echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/Openblas/lib:$LD_LIBRARY_PATH' >> ~/.bashrc

source ~/.bashrc

OpenCV

关于OpenCV，我参考的那篇博客上已经其他很多文章里都是手动安装编译，这边我直接使用conda安装：conda install -c menpo opencv3

caffe编译

上述依赖库都安装完成后，就可以编译caffe

1

2

3

4git clone https://github.com/BVLC/caffe.git # 下载caffe

cd caffe

cp Makefile.config.example Makefile.config # 创建一个Makefile.config文件

vim Makefile.config # 打开文件进行修改

主要修改的地方有：

1.使用cuDNN，将第5行USE_CUDNN := 1前的注释去掉；

2.使用opencv3，将第21行OPENCV_VERSION := 3前的注释去掉；

3.BLAS选择自己安装的库，我这边51行BLAS := open，因为安装的是openblas，然后在55、56行改成自己的安装位置：

1

2BLAS_INCLUDE := /home/shaoxiaowen/Openblas/include

BLAS_LIB := /home/shaoxiaowen/Openblas/lib

4.更改python头文件位置，将第69行PYTHON_INCLUDE注释掉，然后将73、74的注释去掉，并修改：

1

2

3

4ANACONDA_HOME := $(HOME)/anaconda3

PYTHON_INCLUDE := $(ANACONDA_HOME)/include \

$(ANACONDA_HOME)/include/python3.6m \

$(ANACONDA_HOME)/lib/python3.6/site-packages/numpy/core/include

5.使用python3，将第79行取消注释，改成PYTHON_LIBRARIES := boost_python36 python3.6m，这两个文件在~/anaconda3/lib目录下，名为libboost_python36.so和libpython3.6m.so，如果不是这两个名字，相应修改，可能是libboost_python3.so等。我之前就是没对应好，make时出现错误；

6.第85行PYTHON_LIB := $(ANACONDA_HOME)/lib取消注释；

7.使用pycaffe，第91行WITH_PYTHON_LAYER := 1取消注释；

8.第95、96行写上所有链接库位置：

1

2INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/

然后就开始编译啦：

1

2

3

4

5make clean # 如果之前编译过的话，清除掉

make all -j8 # j8是使用8个线程，看机子上有几个核

make test -j8

make runtest -j8

make pycaffe -j8

make时出现一个错误，找不到lib*，找不到一个依赖，就直接把它的lib所在的位置添加到LD_LIBRARY_PATH就行。

我make runtest时没使用多个线程，就花了好几十分钟，但是还好都是ok，最后显示pass貌似。

将caffe路径添加到用户环境变量，这样才可以import：

1

2

3echo 'export CAFFE_ROOT="/home/shaoxiaowen/caffe"' >> ~/.bashrc

echo 'export PYTHONPATH="/home/shaoxiaowen/caffe/python:$PYTHONPATH"' >> ~/.bashrc

source ~/.bashrc

然后打开python，输入import caffe，没有报错则可以了。但是我现在只是能import起来，以后要是使用的话可能还有问题。

等下，我突然想起来一个问题，师兄说机子上都安装了caffe，只要配置一下就好，喔》》》怎么搞。突然看到一篇服务器caffe配置，有道理，但是几个机子上我的目录下都乱七八糟搞也搞不了咯。