caffe 训练自己的分类模型

学习caffe的最终目的，是可以利用自己的数据集，训练模型，并解决实际问题。

所以在前面跑通了mnist和cifar-10例程的基础上，尝试训练自己的模型，从头到尾走一遍所有的流程。准备数据、训练并得到模型，利用模型进行分类预测。

一、准备数据

1、在网上找了一些图片，分为五类，编号为0,1,2,3,4，每类训练数据50张，测试数据20张。博主将所有的train图片都放在了train文件夹下，编号为0-49,100-149,200-249,300-349,400-449，把所有的test图片都放在了test文件夹下，编号为0-19,100-119,200-219,300-319,400-419。

2、得到train.txt和test.txt清单文件。网上有很多方法，也可以自己用C++写代码实现。部分清单如下所示：

3、将train.txt和test.txt放在 与 train和test文件夹同一目录下。我的为：caffe-master\examples\myExample。

1. 0.jpg 0
2. 1.jpg 0
3. 2.jpg 0
4. 3.jpg 0
5. 4.jpg 0
6. 5.jpg 0
7. 6.jpg 0
8. 7.jpg 0
9. 8.jpg 0
10. 9.jpg 0
11. 10.jpg 0
12. 11.jpg 0
13. 12.jpg 0
14. 13.jpg 0
15. 14.jpg 0
16. 15.jpg 0
17. 16.jpg 0
18. 17.jpg 0
19. 18.jpg 0
20. 19.jpg 0
21. 100.jpg 1
22. 101.jpg 1
23. 102.jpg 1

二、转换为lmdb格式

1、安装git客户端，方便后面运行.sh文件。  安装教程 

2、找到caffe-master\examples\imagenet目录下的create_imagenet.sh文件，并对其进行修改。

1. #!/usr/bin/env sh
2. # Create the imagenet lmdb inputs
3. # N.B. set the path to the imagenet train + val data dirs
4. set -e
6. #EXAMPLE=examples/imagenet
7. DATA=E:/NotFineshed/caffeWin10/caffe-master/examples/myExample
8. TOOLS=E:/NotFineshed/caffeWin10/caffe-master/Build/x64/Release
10. TRAIN_DATA_ROOT=E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/train/
11. VAL_DATA_ROOT=E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/test/
13. # Set RESIZE=true to resize the images to 256x256. Leave as false if images have
14. # already been resized using another tool.
15. RESIZE=true
16. if $RESIZE; then
17. RESIZE_HEIGHT= 256
18. RESIZE_WIDTH= 256
19. else
20. RESIZE_HEIGHT= 0
21. RESIZE_WIDTH= 0
22. fi
24. if [ ! -d "$TRAIN_DATA_ROOT" ]; then
25. echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
26. echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
27. "where the ImageNet training data is stored."
28. exit 1
29. fi
31. if [ ! -d "$VAL_DATA_ROOT" ]; then
32. echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
33. echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
34. "where the ImageNet validation data is stored."
35. exit 1
36. fi
38. echo "Creating train lmdb..."
40. GLOG_logtostderr= 1 $TOOLS/convert_imageset \
41. --resize_height=$RESIZE_HEIGHT \
42. --resize_width=$RESIZE_WIDTH \
43. --backend=lmdb \
44. --shuffle \
45. $TRAIN_DATA_ROOT \
46. $DATA/train.txt \
47. $EXAMPLE/mydata_train_lmdb
49. echo "Creating val lmdb..."
51. GLOG_logtostderr= 1 $TOOLS/convert_imageset \
52. --resize_height=$RESIZE_HEIGHT \
53. --resize_width=$RESIZE_WIDTH \
54. --backend=lmdb \
55. --shuffle \
56. $VAL_DATA_ROOT \
57. $DATA/test.txt \
58. $EXAMPLE/mydata_test_lmdb
60. echo "Done."

3、运行完成后，在git的文件位置目录下，得到两个文件夹 madata_train_lmdb 和 mydata_test_lmdb

三、生成图像均值

1、修改make_imagenet_mean.sh文件，如下所示

1. #!/usr/bin/env sh
2. # Compute the mean image from the imagenet training lmdb
3. # N.B. this is available in data/ilsvrc12
5. #EXAMPLE=examples/imagenet
6. DATA=E:/NotFineshed/caffeWin10/caffe-master/examples/myExample
7. TOOLS=E:/NotFineshed/caffeWin10/caffe-master/Build/x64/Release
9. $TOOLS/compute_image_mean.exe $DATA/mydata_train_lmdb $DATA/mydata_mean.binaryproto --backend=lmdb
11. echo "Done."

2、运行完成后，在caffe-master\examples\myExample目录下，生成mydata_mean.binaryproto文件。

四、创建模型并编写配置文件

1、模型就用caffe自带的caffenet模型，位置在 caffe-master\models\bvlc_reference_caffenet/文件夹下, 我们需要的三个文件是solver.prototxt 和train_val.prototxt、deploy.prototxt。博主将train_val.prototxt改名为train_test.prototxt。

2、修改其中的solver.prototxt，如下所示

1. net: "E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/train_test.prototxt"
2. test_iter: 5
3. test_interval: 10
4. base_lr: 0.001
5. lr_policy: "step"
6. gamma: 0.1
7. stepsize: 100
8. display: 20
9. max_iter: 1000
10. momentum: 0.9
11. weight_decay: 0.005
12. solver_mode: GPU
13. snapshot: 500
14. snapshot_prefix: "E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/minemodel"

3、修改train_test.protxt，需要修改两个阶段的data层。

    实际上就是修改两个data layer的mean_file和source这两个地方，其它都没有变化 。

    然后修改全连接层fc8的输出num，即分类数，我的为五类，所以改为5.

1. name: "CaffeNet"
2. layer {
3. name: "data"
4. type: "Data"
5. top: "data"
6. top: "label"
7. include {
8. phase: TRAIN
9. }
10. transform_param {
11. mirror: true
12. crop_size: 227
13. mean_file: "E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/mydata_mean.binaryproto"
14. }
15. # mean pixel / channel-wise mean instead of mean image
16. # transform_param {
17. # crop_size: 227
18. # mean_value: 104
19. # mean_value: 117
20. # mean_value: 123
21. # mirror: true
22. # }
23. data_param {
24. source: "E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/mydata_train_lmdb"
25. batch_size: 25
26. backend: LMDB
27. }
28. }
29. layer {
30. name: "data"
31. type: "Data"
32. top: "data"
33. top: "label"
34. include {
35. phase: TEST
36. }
37. transform_param {
38. mirror: false
39. crop_size: 227
40. mean_file: "E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/mydata_mean.binaryproto"
41. }
42. # mean pixel / channel-wise mean instead of mean image
43. # transform_param {
44. # crop_size: 227
45. # mean_value: 104
46. # mean_value: 117
47. # mean_value: 123
48. # mirror: false
49. # }
50. data_param {
51. source: "E:/NotFineshed/caffeWin10/caffe-master/examples/myExample/mydata_test_lmdb"
52. batch_size: 20
53. backend: LMDB
54. }
55. }

4、修改deploy.prototxt文件

 同样的修改num_output为5（5个类别）。

五、开始训练

1、在caffe-master目录下，新建train-my-caffe-model.txt，并输添加以下代码，添加完成后，再将后缀名改为.bat

1. Build\x64\Release\caffe.exe train --solver=examples/myExample/solver.prototxt
2. pause

另一种方式：新建一个train-my-caffe-model.sh文件，添加一下代码，用git运行也可以的。

1. DATA=E:/NotFineshed/caffeWin10/caffe-master/examples/myExample
2. TOOLS=E:/NotFineshed/caffeWin10/caffe-master/Build/x64/Release
3. $TOOLS/caffe.exe train --solver=$DATA/solver.prototxt
4. read -p "press Enter to continue"

2、双击.bat文件，即可开始训练。

六、各种报错及解决办法

1、F0108 11:44:23.991556  8376 db_lmdb.hpp:15] Check failed: mdb_status == 0 (3 vs. 0) 系统找不到指定的路径。

 解决办法： http://blog.csdn.net/u012308979/article/details/72793108

2、F0108 13:05:50.865810  9376 syncedmem.cpp:56] Check failed: error == cudaSuccess (2 vs. 0)  out of memory

解决办法：GPU显存不够，修改batch_size的值，改为25

七、结果

如下图所示。

感觉训练的结果不够满意啊，接下来，需要了解模型网络参数，修改参数以得到更好的训练结果。

八、输入单张图片，进行分类预测

1、新建.sh文件，输入以下代码即可，然后用git运行

1. #EXAMPLE=examples/imagenet
2. DATA=E:/NotFineshed/caffeWin10/caffe-master/examples/myExample
3. TOOLS=E:/NotFineshed/caffeWin10/caffe-master/Build/x64/Release
5. $TOOLS/classification.exe $DATA/deploy.prototxt $DATA/minemodel_iter_1000.caffemodel $DATA/mydata_mean.binaryproto $DATA/synset_words.txt $DATA/ 1.jpg
6. read -p "press Enter to continue"

caffe 训练自己的分类模型