老卫带你学—caffe的简单使用(MNIST数据集)
MNIST是一个大型的手写体数字数据库,最早的用于机器学习领域的训练与测试。MNIST包括60000个训练集与10000个测试集,每张图都已经进行尺寸归一化,数字居中处理,resize为28*28尺寸。
1.下载MNIST数据集
既然我们要对MNIST数据集进行训练,那么我们就需要将其下载到我们的本地上,MNIST数据集可以在Caffe的/data/mnist下的get_mnist.sh脚本下载。
$ cd data/mnist/
$ ./get_mnist.sh
通过这样的命令就可以将mnist数据集下载下来,如图:
2.转化数据格式
下载到的数据集为二进制文件,需要转化成LEVELDB或者LMDB格式才能被caffe识别,我们已经编译好Caffe了,只需要在Caffe根目录下执行以下脚本。
$ ./exmaple/mnist/create_mnist.sh
提示:不要进入该脚本文件夹下执行脚本,现在caffe规定只能从caffe的根目录开始执行。
紧接着,浏览所在目录example/mnist,发现生成了mnist_train_lmdb(训练集)和mnist_test_lmdb(测试集)两个目录,每个目录下都有两个文件:data.mdb与lock.mdb
Caffe为什么采用LMDB与LEVELDB,而不是直接读取原始数据
答案:一方面,数据类型多种多样,不可能用一个代码来实现对所有类型文件的读取;另一方面,使用LMDB与LEVELDB可以提高磁盘的利用率。
3.LeNet模型
在mnist手写识别训练中,最成熟的就是Lenet神经网络模型,该模型最早应用于邮政编码的识别中。但是呢在最新的Caffe中的Lenet-5与原模型稍有不同。(例如,将激活函数由sigmoid改为Relu函数)。其描述文件为example/mnist/lenet_train_val.prototxt,有兴趣的朋友可以去查看其源码,更好的理解其网络结构,后面我也会针对各个神经网络模型进行详细介绍。
4.训练
上面我们已经得到了MNIST手写体数据集和Lenet模型,下面开始Caffe的训练过程。运行example/mnist/train_lenet.sh脚本,就可以开始训练。用vim打开该脚本,内容如下:
#!/usr/bin/env sh
./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt
可见,调用了前面编译好的build/tools/caffe.bin二进制文件,参数solver指定了训练超参数。内容如下:
经过几个小时,就会提示训练成功。此时最终的训练模型已经保存到example/mnist/lenet_iter_10000.caffemodel中,训练状态保存在example/mnist/lenet_iter_10000.solverstate。
5.用训练好的模型对数据进行预测
利用训练好的Lenet模型文件(lenet_iter_10000.caffemodel)可以对测试数据集进行预测。运行如下命令:
命令行解释如下: