1. Caffe在Ubuntu 14.04 64bit 下的安装(无GPU)
安装win7和ubuntu双操作系统win7下通过easyBCD引导安装Ubuntu14.04
安装Win10和ubuntu双操作系统,Win10和Ubuntu双系统安装教程(如何在Win10下EasyBcd引导安装Ubuntu)
最简单的方法就是用老毛桃工具将ubuntu的iso文件制作成ISO模式的U盘安装盘!!!!!!
比较好的安装博客(Ubuntu14.04 安装Caffe(仅CPU))
(http://blog.csdn.net/u011762313/article/details/47262549)
(http://www.linuxidc.com/Linux/2015-07/120449.htm)
1. sudo apt-get install build-essential
2. sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler libopenblas-dev
3. 修改makefile.cofig
CPU_ONLY := 1
BLAS := open
4. make all, make test, make runtest,顺利成功!!!
5. 修改lenet_train_test.prototxt中
source: “examples/mnist/mnist-train-leveldb”
backend: LEVELDB
source: “examples/mnist/mnist-test-leveldb”
backend: LEVELDB
6. 修改 lenet_soler.prototxt中的的 solver_mode: CPU
7. 在caffe根目录下运行 ./build/tools/caffe –solver=examples/mnist/lenet_solver.prototxt
8. 配置pycaffe
1). sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython
2). sudo apt-get install protobuf-c-compiler protobuf-compiler
3). 在caffe根目录下make pycaffe
4). 在/etc/profile 末尾添加(可用sudo gedit /etc/profile来编辑)
export PYTHONPATH=/home/jqh/jiangqiuhua/caffe-master/python:$PYTHONPATH
5).source /etc/profile
6).在linux命令行下运行python命令,在python提示符下运行import caffe命令
就可测试是否成功。
7)ipython notebook的安装,sudo apt-get ipython-notebook,安装完毕后运行ipython notebook即可。
2. Caffe-face安装和测试
(http://blog.csdn.net/qq_14845119/article/details/53308996)
(https://github.com/ydwen/caffe-face)
(https://sanwen8.cn/p/446HEbm.html)
编译过程和caffe相同,现测试mnist_example,同样修改相应的训练测试和solver配置文件。
./build/tools/caffe train -solver mnist_example/mnist_solver.prototxt
好象运行比caffe慢了很多。
3. CASIA WebFace 和LFW Database,以及Caffe各层模型参数的理解
- 官方网址,有与相关人脸数据的对比。http://www.cbsr.ia.ac.cn/english/CASIA-WebFace-Database.html subjects 10575,images 449414,而 LFW subjects 5749,images 13233.
- Caffe-face的训练数据集 CAISA-WebFace,VGG-Face, MS-Celeb-1M, MegaFace.
- 常用人脸识别数据库 http://blog.csdn.net/lishuiwang/article/details/47148887
- caffe学习系列博客 http://blog.csdn.net/qq_26898461/article/category/5959439/3
- caffe 自定义参数,自定义层 python写的: http://blog.csdn.net/langb2014/article/details/53081911
- LeNet caffe模型示例 http://www.cnblogs.com/empty16/p/4878164.html
- csdn Sunshine_in_Moon caffe学习笔记(各阶段经历) http://blog.csdn.net/Sunshine_in_Moon/article/category/5833371/3
- crop_size和mirror 利用crop_size这种方式可以剪裁中心关注点和边角特征,mirror可以产生镜像,弥补小数据集的不足. http://blog.csdn.net/u010417185/article/details/52651761
- 卷积层和池化层 http://www.cnblogs.com/qw12/p/6120012.html
4. AR人脸数据库在caffe-face上测试
- 测试Caffe的AR例子,用imagedata,提取文件名:http://blog.csdn.net/ljianhui/article/details/43128465
${basename $file .pgm}
- filename=sdfsdf,赋值变量时=号不能有空格,出现bad subsititution错,应该用bash执行。
- Bash常见陷阱 http://blog.charlee.li/bash-pitfalls/
- Bash空格陷阱 http://www.igigo.net/post/archives/152
- 去掉数字字符串前面的0,echo $str | sed ‘s/^0+//’ 其中^表示从头开始,0+表示0个以上,//表示替换为NULL即删除。可以将sed结果赋值给其它变量。
- 用AR数据在lenet模型中训练,程序正确运行,但是发现loss=-nan。
- 用cafe-face模型试试
- ubuntu文件管理gui复制文件权限不够的解决,在命令行里,输入
sudo nautilus
5. 带GPU的安装:Nivda驱动安装、Cuda的安装、cudnn安装
- 【Caffe安装】caffe安装系列——史上最详细的安装步骤
- Nvida M4000显卡驱动下载
- Linux手动安装nvida驱动,
- Ubuntu安装Nvdia显卡
- Ubuntu安装和NVIDIA驱动和安装(.run方法–有时.deb方法安装时NVIDIA显卡驱动装不上)
- Ubuntu 14.04 安装 Nvidia 私有驱动并进行双显卡切换,用该博文的方法最简单,不需要关闭X服务,安装命令为:sudo apt-get install nvidia-367 nvidia-settings nvidia-prime,具体的版本号可以sudo apt-get install nvidia-后用tab键搜索可用的版本号。安装重启后,可用Alt+F2运行nvidia-settings命令查看驱动信息。
- Cuda 8.0下载安装, Ubuntu 14.04 上安装 CUDA 7.5/8.0 超详细教程 ,解决cannot find -lnvcuvid问题的真正办法,cuda8.0中用的是nvidia-367, 我用的驱动是375,虽然用apt安装是367,实际不知道为什么安装了375。其实在错误信息中就有版本信息,可能自己没仔细看。再个,直接搜索lnvcuvid就能看到相关解决问题的博文,加多了反倒搜不到这些信息了。
- 简单重复一下我安装cuda8.0的过程:
- 假设安装好了nvidia-375驱动(按照上面第6点所说的步骤)。
- 从nvidia官网下载cuda8.0的本地安装(local)deb,按照其说明安装。
- 在/etc/profile文件中修改PATH和LD_LIBRARY_PATH
- 在/usr/local/cuda-8.0/samples 路径下sudo make,按照上面“解决cannot find -lnvcuvid问题的真正办法”所说的方法修改findgllib.mk文件中内容和建立相应的软链接,从而解决can not find -lnvcuvid问题。
- 在samples/bin/x86_64/Linux/release路径下运行./deviceQuery, ./bandwidthTest,可以检查安装和编译是否成功。
- Nvida cudnn下载安装 163邮箱ND-jiang317301,安装cuda和cudnn比较详细的博客,Nidia最近的cudnn v6.0的samples不能下载,因此我还是选择V5.0版本。另外,安装cuda8.0的时候,会自动生存cuda的软链接,因此下面用cuda和cuda-8.0结果是相同的。下面安装过程主要参考了caffe安装系列——安装cuda和cudnn 博客的内容。注意libcudnn.so.5.0.5是lib中cudnn库文件。
- tar -zxvf cudnn-8.0-linux-x64-v5.0-ga.tgz
- tar -zxvf cudnn-sample-v5.tgz
- jqh@jqhgpu:~/jiangqiuhua/cuda/lib64$ sudo cp lib* /usr/local/cuda-8.0/lib64/
- jqh@jqhgpu:~/jiangqiuhua/cuda/include$ sudo cp * /usr/local/cuda-8.0/include/
- jqh@jqhgpu:~/jiangqiuhua/cuda/lib64$ sudo rm -rf libcudnn.so libcudnn.so.5
- jqh@jqhgpu:~/jiangqiuhua/cuda/lib64$ sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5
- jqh@jqhgpu:~/jiangqiuhua/cuda/lib64$ sudo ln -s libcudnn.so.5 libcudnn.so
- jqh@jqhgpu:~/jiangqiuhua/mnistCUDNN$ make -j
- jqh@jqhgpu:~/jiangqiuhua/mnistCUDNN$ ./mnistCUDNN //测试成功。
- 继续安装Caffe:
- jqh@jqhgpu:~/jiangqiuhua/caffe-master$ sudo apt-get install build-essential
- jqh@jqhgpu:~/jiangqiuhua/caffe-master$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler libopenblas-dev
- 修改Makefile.config中如下内容:
- USE_CUDNN := 1
- # CPU_ONLY := 1
- BLAS := open
- jqh@jqhgpu:~/jiangqiuhua/caffe-master$ make clean
- jqh@jqhgpu:~/jiangqiuhua/caffe-master$ make all
- jqh@jqhgpu:~/jiangqiuhua/caffe-master$ make test
- jqh@jqhgpu:~/jiangqiuhua/caffe-master$ make runtest
- 继续安装pycaffe
- 参考第一部分(无GPU)安装中配置pycaffe中内容即可。在python命令行下import caffe,检查是否成功(第一部分第8点)。
- ipython notebook的安装,直接sudo apt-get install ipython-notebook,即可成功,在保存相应ipynb文件的目录命令行下运行ipython notebook,即可显示ipython notebook的网页界面。
- 总结一下(GPU的caffe全安装过程)
- 安装Nvida驱动,sudo apt-get install nvidia-367 nvidia-settings nvidia-prime,可运行nvida-settings来看安装的结果。
- 安装cuda 8.0,网上下载deb包安装网页安装说明进行本地安装。进行相应的修改,编译后,运行./deviceQuery和./bandwidthTest
- 安装cudnn,下载解压,拷贝库文件,make -j,运行./mnistCUDNN
- 安装Caffe,注意编译时屏蔽修改相应条件(cpu,cudnn)。编译链接,最后make runtest。测试。
- 安装pycaffe接口,ipython notebook,编写testmnist_GPU测试对比与cpu的差别:
CPU times: user 30min 34s, sys: 30min 35s, total: 1h 1min 10s
Wall time: 7min 43s
CPU times: user 44.2 s, sys: 7.39 s, total: 51.6 s
Wall time: 42.7 s
关于CPU时间的解释见博文:http://blog.csdn.net/filyouzicha/article/details/52447887