caffe中的mnist示例程序超详解,中间包含准备数据、网络模型解析、训练和测试全过程,以及遇到的error和解决方法
准备数据
下载数据
cd $CAFFE_ROOT
./data/mnist/get_mnist.sh
文件内部:
运行完成得到四个文件
数据转化
./examples/mnist/create_mnist.sh
该文件将数据转化为lmdb
运行出错
分析原因是在/examples/mnist文件夹内运行,不能访问build目录,因此转到caffe根目录下重新运行
依然出错,Permission denied没有权限
加权限后再执行
之后得到两个文件夹,就是caffe所需要的数据集了(lmdb格式)mnist_train_lmdb
, and mnist_test_lmdb
定义网络结构
CNN的基本结构:
一个卷积层,后面连接一个pooling层,然后是另一个卷积层接pooling层,然后是两个全连接层,与多层感知器相似。
In general, it consists of a convolutional layer followed by a pooling layer, another convolution layer followed by a pooling layer, and then two fully connected layers similar to the conventional multilayer perceptrons.
以LeNet model为例具体解释网络结构,经典的LeNet模型使用Rectified Linear Unit (ReLU) 代替sigmoid函数来激活神经元。
$CAFFE_ROOT/examples/mnist/lenet_train_test.prototxt
.
数据层
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
卷积层
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
Pooling层
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
全连接层
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
ReLU层
经典的LeNet模型使用Rectified Linear Unit (ReLU) 代替sigmoid函数来激活神经元。
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
在ReLU层后面连接另一个全连接层ip2
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
Loss层
The softmax_loss
layer implements both the softmax and the multinomial logistic loss (that saves time and improves numerical stability)
这一层同时实现了softmax和multinomial logistic loss,
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
Layer Rules
表示该层什么时候属于该网络
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
训练参数配置
$CAFFE_ROOT/examples/mnist/lenet_solver.prototxt
:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
训练模型
新建文件夹保存模型
否则就会
建好文件夹后别忘记修改lenet_solver.prototxt 中的snapshot_prefix
在配好训练网络输入路径,以及网络全局信息后,执行这个train_lenet.sh 脚本命令就可以开始训练网络了
cd $CAFFE_ROOT
./examples/mnist/train_lenet.sh
脚本.sh内容为训练指令
- 1
- 1
./build/tools/caffe train –solver=examples/mnist/lenet_solver.prototxt
脚本运行后会看见如下结果,显示各个层的细节和输出情形
初始化后开始训练,每100次迭代输出loss,每1000次迭代进行一次测试(这里测试使用的是训练数据),
I1203 solver.cpp:204] Iteration 100, lr = 0.00992565//迭代的学习率
I1203 solver.cpp:66] Iteration 100, loss = 0.26044//训练函数
…
I1203 solver.cpp:84] Testing net
I1203 solver.cpp:111] Test score #0: 0.9785//测试准确率
I1203 solver.cpp:111] Test score #1: 0.0606671//测试损失函数
每5000次迭代输出一个模型保存下来,模型存储成一个binary protobuf文件,名字是lenet_iter_5000,这个训练好的模型可以被用来做实际应用。
训练以到达迭代最大次数终止,训练结束
可以在指定输出的模型路径下看到相关模型(带有caffemodel的就是模型文件)
另外:若想使用固定步长来降低学习率,可以使用文件lenet_multistep_solver.prototxt
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
测试模型
调用训练好的模型测试
./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/model/lenet_iter_10000.caffemodel -gpu=0
如果没有GPU则使用
./build/tools/caffe.bin test -model=examples/mnist/lenet_train_test.prototxt -weights=examples/mnist/model/lenet_iter_10000.caffemodel
解释:
1、先是test表明是要评价一个已经训练好的模型。
2、然后指定模型prototxt文件,这是一个文本文件,详细描述了网络结构和数据集信息。
在测试时数据层转到了测试集:
3、然后指定模型的具体的权重weights。权重为训练好的模型examples/mnist/model/lenet_iter_10000.caffemodel中的参数
测试完成,准确率为0.9868
修改模型名称,换用5000次迭代时生成的模型
到这里就是对caffe最基础的使用了,更多的信息请参照caffe官网1,我也会继续在这里记录“end-to-end”的学习过程。第一篇博客,也是希望自己能在学术上坚持下去吧!