之前看SSD的论文,想跑一下caffe代码,就试图安装caffe,但由于是在服务器上,没有root权限,本来很简单的apt-get install安装依赖变得极其繁杂,参见https://www.tlanyan.me/work-with-linux-without-root-permission,看到一篇linux无root安装caffe,就跟着操作,然而貌似因为包的依赖关系,安装的包在用户下,但是这个包的一些依赖在系统里面,然后是一堆“找不到”的问题,linux我还不熟悉,不知道该怎么定位路径什么的,就不了了之。虽然一点不会caffe,但总想把它装一下,昨天看到一篇博客Caffe安装,发现目的一样,就跟着弄起来了。
因为我是用anaconda安装python的,所以这篇就是要在anaconda下的python里调用caffe。
参考:
Caffe安装
官方文档
linux-no-root-install-log
电脑环境:
Ubuntu 16.04.3 LTS cat /etc/issue (其实我一直以为是14.04,应该没什么关系。)
NVIDIA UNIX x86_64 kernel Module 390.67,驱动版本,cat /proc/driver/nvidia/version
CUDA 8.0.61 nvcc -V
cuDNN 不知道啥版本
gcc 5.4.0 gcc --version
g++ 5.4.0 g++ --version
anaconda
anaconda的安装可参考我之前的博客:anaconda总结。安装的时候竟然没提示加入环境变量,手动添加:
1
2echo 'export PATH=/home/shaoxiaowen/anaconda3/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
这边安装的是anaconda3,python版本是3.6.5。
安装完之后更新conda,conda update conda
caffe依赖安装
官网上指示了caffe的依赖有:
1.CUDA,for GPU,版本7+,建议最新版,6._也可以。
2.cuDNN,for GPU加速,v6。
3.BLAS(ATLAS/MKL/OpenBLAS)
4.Boost >= 1.55
5.protobuf、glog、gflags、hdf5
6.OpenCV >= 2.4
7.IO库:lmdb、leveldb(leveldb需要snappy)
CUDA
服务器上CUDA已经配置好了,将CUDA路径加入用户目录下的$PATH和$LD_LIBRARY_PATH:
1
2
3echo 'export PATH=/usr/local/cuda-8.0/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
用conda安装依赖
我没有用conda创建新的环境,而是用的默认环境。在linux-no-root-install-log上,没有root权限时,caffe依赖都是手动安装,先下载安装包,然后安装时更改安装目录。这边我发现可以直接用conda安装依赖,(只要这些依赖在~/anaconda3/include,~/anaconda3/lib里面,然后anaconda是添加到用户环境变量里面的,所以这些依赖可以覆盖系统的依赖 而被调用)。其实caffe貌似可以直接用conda安装,在博客网页查询里面有链接。安装依赖命令:
conda install boost hdf5 snappy leveldb lmdb gflags glog
hdf5 、snappy没有被安装,anaconda里面包含了这两个包。安装完,我发现这些包都在~/anaconda3/lib和~/anaconda3/include里面,所以就没添加到用户环境变量。
protobuf
注意:protobuf不在~/anaconda3/include目录下,而是~/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0,所以需要添加到环境变量中。
1
2
3
4
5
6protoc --version # 查看系统protoc版本
conda install protobuf==3.5.1
echo 'export PATH=/home/shaoxiaowen/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/anaconda3/pkgs/libprotobuf-3.5.2-h6f1eeef_0/lib:$LD_LI``BRARY_PATH' >> ~/.bashrc
source ~/.bashrc
protoc --version # 查看当前protoc版本
到release页面下载和protoc(即protobuf-cpp)版本一样的protobuf-python,然后:
1
2
3
4
5
6tar -xzvf protobuf-python-3.5.1.tar.gz
cd protobuf-python-3.5.1
cd python
python setup.py build
python setup.py test
python setup.py install
这样protobuf python runtime就编译和安装好了。
conda list | grep protobuf,查看protobuf安装情况。
OpenBLAS1
2
3
4
5
6git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
make FC=gfortran -j $(($(nproc) + 1))
make PREFIX=~/Openblas install
echo 'export LD_LIBRARY_PATH=/home/shaoxiaowen/Openblas/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
OpenCV
关于OpenCV,我参考的那篇博客上已经其他很多文章里都是手动安装编译,这边我直接使用conda安装:conda install -c menpo opencv3
caffe编译
上述依赖库都安装完成后,就可以编译caffe
1
2
3
4git clone https://github.com/BVLC/caffe.git # 下载caffe
cd caffe
cp Makefile.config.example Makefile.config # 创建一个Makefile.config文件
vim Makefile.config # 打开文件进行修改
主要修改的地方有:
1.使用cuDNN,将第5行USE_CUDNN := 1前的注释去掉;
2.使用opencv3,将第21行OPENCV_VERSION := 3前的注释去掉;
3.BLAS选择自己安装的库,我这边51行BLAS := open,因为安装的是openblas,然后在55、56行改成自己的安装位置:
1
2BLAS_INCLUDE := /home/shaoxiaowen/Openblas/include
BLAS_LIB := /home/shaoxiaowen/Openblas/lib
4.更改python头文件位置,将第69行PYTHON_INCLUDE注释掉,然后将73、74的注释去掉,并修改:
1
2
3
4ANACONDA_HOME := $(HOME)/anaconda3
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
$(ANACONDA_HOME)/include/python3.6m \
$(ANACONDA_HOME)/lib/python3.6/site-packages/numpy/core/include
5.使用python3,将第79行取消注释,改成PYTHON_LIBRARIES := boost_python36 python3.6m,这两个文件在~/anaconda3/lib目录下,名为libboost_python36.so和libpython3.6m.so,如果不是这两个名字,相应修改,可能是libboost_python3.so等。我之前就是没对应好,make时出现错误;
6.第85行PYTHON_LIB := $(ANACONDA_HOME)/lib取消注释;
7.使用pycaffe,第91行WITH_PYTHON_LAYER := 1取消注释;
8.第95、96行写上所有链接库位置:
1
2INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/
然后就开始编译啦:
1
2
3
4
5make clean # 如果之前编译过的话,清除掉
make all -j8 # j8是使用8个线程,看机子上有几个核
make test -j8
make runtest -j8
make pycaffe -j8
make时出现一个错误,找不到lib*,找不到一个依赖,就直接把它的lib所在的位置添加到LD_LIBRARY_PATH就行。
我make runtest时没使用多个线程,就花了好几十分钟,但是还好都是ok,最后显示pass貌似。
将caffe路径添加到用户环境变量,这样才可以import:
1
2
3echo 'export CAFFE_ROOT="/home/shaoxiaowen/caffe"' >> ~/.bashrc
echo 'export PYTHONPATH="/home/shaoxiaowen/caffe/python:$PYTHONPATH"' >> ~/.bashrc
source ~/.bashrc
然后打开python,输入import caffe,没有报错则可以了。但是我现在只是能import起来,以后要是使用的话可能还有问题。
等下,我突然想起来一个问题,师兄说机子上都安装了caffe,只要配置一下就好,喔》》》怎么搞。突然看到一篇服务器caffe配置,有道理,但是几个机子上我的目录下都乱七八糟搞也搞不了咯。