《21天实战caffe》 读书笔记（六）

第六天 运行手写体数字识别例程

1、MNIST数据集

MNIST数据集包括60000个训练集和10000个测试集，每张图都已经进行尺寸归一化、数字居中处理，固定尺寸为28像素*28像素。

MNIST数据集可以在Caffe源码框架的data/mnist下用get_mnist.sh脚本下载。

MNIST原始数据为4个文件，数据格式描述见下图。

下载到的原始数据集为二进制文件，需要转换为LEVELDB或LMDB才能被Caffe识别。编译好Caffe后，在Caffe根目录下执行以下命令：

	$cd examples/mnist/
	./create_mnist.sh

输出：

create_mnist.sh脚本文件内容如下：

!/usr/bin/env sh
# This script converts the mnist data into lmdb/leveldb format,
# depending on the value assigned to $BACKEND.
set -e

EXAMPLE=../../examples/mnist
DATA=../../data/mnist
BUILD=../../build/examples/mnist

BACKEND="lmdb"

echo "Creating ${BACKEND}..."

rm -rf $EXAMPLE/mnist_train_${BACKEND}
rm -rf $EXAMPLE/mnist_test_${BACKEND}

$BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte \
  $DATA/train-labels-idx1-ubyte $EXAMPLE/mnist_train_${BACKEND} --backend=${BACKEND}
$BUILD/convert_mnist_data.bin $DATA/t10k-images-idx3-ubyte \
  $DATA/t10k-labels-idx1-ubyte $EXAMPLE/mnist_test_${BACKEND} --backend=${BACKEND}

echo "Done."

上述脚本调用了build/exampls/mnist/covert_mnist_data.bin这个可执行程序，对应的源文件examples/mnist/convert_mnist_data.cpp。

代码逻辑：打开二进制文件、读取魔数（大小端转换）、检验文件、打开db、读取数据保存至db。

问：Caffe为什么采用LMDB、LEVELDB，而不是直接读取原始数据？

答：一方面，数据类型繁多，转换为统一格式可以简化数据读取层的实现；另一方面，使用LMDB、LEVELDB可以提高磁盘IO的利用率。

2、LeNet-5模型

我安装的LeNet-5模型文件位于examples/mnist/lenet_train_test.prototxt