第六天 运行手写体数字识别例程
1、MNIST数据集
MNIST数据集包括60000个训练集和10000个测试集,每张图都已经进行尺寸归一化、数字居中处理,固定尺寸为28像素*28像素。
MNIST数据集可以在Caffe源码框架的data/mnist下用get_mnist.sh脚本下载。
MNIST原始数据为4个文件,数据格式描述见下图。
下载到的原始数据集为二进制文件,需要转换为LEVELDB或LMDB才能被Caffe识别。编译好Caffe后,在Caffe根目录下执行以下命令:
$cd examples/mnist/
./create_mnist.sh
输出:
create_mnist.sh脚本文件内容如下:
!/usr/bin/env sh
# This script converts the mnist data into lmdb/leveldb format,
# depending on the value assigned to $BACKEND.
set -e
EXAMPLE=../../examples/mnist
DATA=../../data/mnist
BUILD=../../build/examples/mnist
BACKEND="lmdb"
echo "Creating ${BACKEND}..."
rm -rf $EXAMPLE/mnist_train_${BACKEND}
rm -rf $EXAMPLE/mnist_test_${BACKEND}
$BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte \
$DATA/train-labels-idx1-ubyte $EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}
$BUILD/convert_mnist_data.bin $DATA/t10k-images-idx3-ubyte \
$DATA/t10k-labels-idx1-ubyte $EXAMPLE/mnist_test_${BACKEND} --backend=${BACKEND}
echo "Done."
上述脚本调用了build/exampls/mnist/covert_mnist_data.bin这个可执行程序,对应的源文件examples/mnist/convert_mnist_data.cpp。
代码逻辑:打开二进制文件、读取魔数(大小端转换)、检验文件、打开db、读取数据保存至db。
问:Caffe为什么采用LMDB、LEVELDB,而不是直接读取原始数据?
答:一方面,数据类型繁多,转换为统一格式可以简化数据读取层的实现;另一方面,使用LMDB、LEVELDB可以提高磁盘IO的利用率。
2、LeNet-5模型
我安装的LeNet-5模型文件位于examples/mnist/lenet_train_test.prototxt