Ubuntu14.04深度学习caffe安装与测试

       Ubuntu14.04深度学习caffe安装与测试

官网的安装说面：http://caffe.berkeleyvision.org/install_apt.html

 

首先，安装依赖的一些包和库：

sudo apt-get installlibprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-devprotobuf-compiler

 

sudo apt-getinstall --no-install-recommends libboost-all-dev

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflages Cython ipython

 

直接使用apt-get install 安装即可，如果安装失败的话update一下继续装即可。

  然后安装CUDA7.5 和英伟达驱动:

重要部分：

{   

先安装nvidia驱动，1.安装显卡驱动时提示nouveau的报错信息，需要卸载这个模块才能继续

2.在/etc/modprobe.d/blacklist.conf文件中，将nouveau模块加入---"blacklist nouveau"，使用nano命令打开、编辑文件(在vi、vim不可用的情况下), (nouveau是由第三方为NVIDIA显卡开发的一个开源3D驱动，也没能得到NVIDIA的认可与支持)

3.如果加入黑名单后nouveau模块还存在的话（命令：lspci | grep nouveau, 如果没有内容 ，说明禁用成功，如果有内容，就重启一下再查看），可以直接将这个内核模块挪走，命令为：

$sudo mv /lib/modules/3.0.0-12-generic/kernel/drivers/gpu/drm/nouveau/nouveau.ko/lib/modules/3.0.0-12-generic/kernel/drivers/gpu/drm/nouveau/nouveau.ko.org

$sudo update-initramfs -u   注意：使用tab键补全命令行，具体环境具体分析

4.别忘了要重启一下系统，以确定系统是否完全将nouveau模块禁用。（利用命令：lsmod|grep nouveau 确认一下Nouveau是否被干掉）nouveau模块 确认禁用了之后 ，关闭桌面服务（sudo service lightdm stop，+ ctrl +alt +F2 进入shell界面，用户名+密码登陆）执行驱动文件./NVIDIA-xxxx.run  --no-opengl-files

接下来安装cuda;cuda下载完以后运行，是交互式的，按提示一步一步装，除了驱动时输入NO ，其他的都是YES。

}

接下来安装ATLAS 直接执行  

如果客户没有要求装opneBLAS或者MKL的情况下这里直接安装atlas即可。

执行 ：apt-get install libatlas-base-dev  等待安装完毕即可。

接下来配置python环境，这里我也做了更改不需要手动安装anaconda,直接apt-get install python-dev等待安装完毕即可，不要修改任何环境变量，等待安装完毕即可。

 

然后需要安装CUDNN，把压缩包拷到/home下，

执行

tar xvf cudnn*.tgz

cd cuda

sudo cp */*.h /usr/local/cuda/include/

sudo cp */libcudnn* /usr/local/cuda/lib64/

sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

然后这里需要执行一步：

Sudo  nano /etc/ld.so.conf

写入： /usr/local/cuda/lib64

保存退出然后执行：sudo  ldconfig

  

为Scipy安装一些常用工具

sudo apt-get install -y libfreetype6-dev libpng12-dev

pip install -U matplot ipthon[all] jupyter pandas scikit-image

sudon apt-get install libopenblas-dev python-dev python-pip python-nose python-numpy python-scipy

 

Caffe

 

等待安装完毕后装CAFFE

git clone https://github.com/BVLC/caffe.git

   1. cd caffe

      cp makefile.config.example makefile.config

然后编辑Makefile.config文件

2     只需要修改两个地方

 然后保存退出！

 

编译

1.     make all -j4                                     #4代表cpu核心，这个值可以改

2.     make test -j4

3. make runtest -j4     

4. make distribute -j4

5. make pycaffe -j4

上述如果没有任何报错，都操作正常的话，这里是完全可以make成功的。这3步执行完之后。我们来验证caffe。

首先不要切换目录，就在我们 caffe的目录里输入：

echo'export CAFFE_ROOT=$(pwd)' >> ~/.bashrc

echo'export PYTHONPATH=$CAFFE_ROOT/python:$PYTHONPATH' >> ~/.bashrc

    source .bashrc

 

然后cd到caffe-master/python目录下执行 python

>>> 

在>>> 这个后面输入import caffe 导入成功则OK。

导入成功：即没有任何报错

Caffe上配置和运行MNIST (caffe测试)

Caffe默认情况会安装在CAFFEROOT，就是解压到的那个目录，例如： /home/username/caffe-master，所以下面的工作，默认已经切换到了该工作目录。下面的工作主要是，用于测试Caffe是否工作正常，不做详细评估。具体设置请参考官网：http://caffe.berkeleyvision.org/gathered/examples/mnist.html

1. 数据预处理

可以用下载好的数据集，也可以重新下载，网速快可以直接下载，具体操作如下：

$ cd data/mnist

 

$ sudo sh ./get_mnist.sh

2. 重建LDB文件，就是处理二进制数据集为Caffe识别的数据集，以后所有的数据，包括jpe文件都要处理成这个格式

$ cd examples/mnist

 

$ sudo sh ./create_mnist.sh

生成mnist-train-leveldb/ 和 mnist-test-leveldb/文件夹，这里包含了LDB格式的数据集

PS: 这里可能会遇到一个报错信息：

Creating lmdb...

./create_mnist.sh: 16: ./create_mnist.sh:build/examples/mnist/convert_mnist_data.bin: not found

解决方法是，直接到caffe-master的根目录执行，新版的caffe，基本上都得从根目录执行。

~/caffe-master$ sudo sh examples/mnist/create_mnist.sh

确保新生成的2个文件mnist-train-lmdb 和 mnist-test-lmdb位于create_mnist.sh同目录下

3. 训练mnist

~/caffe-master$ sudo sh examples/mnist/train_lenet.sh

屏幕显示如下：

……

I0329 16:43:03.739568 4155 solver.cpp:403] Iteration 9800, lr = 0.00599102

I0329 16:43:03.968662 4155 solver.cpp:191] Iteration 9900, loss = 0.00557684

I0329 16:43:03.968705 4155 solver.cpp:206]     Train netoutput #0: loss = 0.00557684 (* 1 = 0.00557684 loss)

I0329 16:43:03.968732 4155 solver.cpp:403] Iteration 9900, lr = 0.00596843

I0329 16:43:04.198199 4155 solver.cpp:317] Snapshotting toexamples/mnist/lenet_iter_10000.caffemodel

I0329 16:43:04.202082 4155 solver.cpp:324] Snapshotting solver state toexamples/mnist/lenet_iter_10000.solverstate

I0329 16:43:04.205214 4155 solver.cpp:228] Iteration 10000, loss = 0.00457862

I0329 16:43:04.205276 4155 solver.cpp:247] Iteration 10000, Testing net (#0)

I0329 16:43:04.307497 4155 solver.cpp:298]     Test netoutput #0: accuracy = 0.9906

I0329 16:43:04.307528 4155 solver.cpp:298]     Test netoutput #1: loss = 0.02885 (* 1 = 0.02885 loss)

I0329 16:43:04.307541 4155 solver.cpp:233] Optimization Done.

I0329 16:43:04.307549 4155 caffe.cpp:121] Optimization Done.

 

运行完结果如下：

生成四个新文件

 

lenet_iter_10000.caffemodel        

lenet_iter_10000.solverstate     

lenet_iter_5000.caffemodel        

lenet_iter_5000.solverstate

 

备注：执行create_mnist.sh和train_lenet.sh 前最好先确认这两个.sh文件有可执行的权限,否则在执行后可能会遇到如下图所示的报错(增加权限命令：chmod)

到这里全部OK即安装完毕。这个方法是官网安装方法，

如果要求装openBLAS  安装完caffe的makefile.config文件里 修改blas=open 即可。如果要求装openCV，先按照我的说明装完caffe，再装openCV.不影响任何使用。也省去很多检查报错的时间。