Caffe tools/下的工具真的很有用！但是不知道的时候容易进坑啊! 我们在处理图片的时候都想把它转换成效率最高的形式，当然在caffe中就是lmdb形式，但是怎么转换呢？初学者可能不是很明白，下面首先讲下将原始数据转换为lmdb，借助的工具是
convert_imageset.如果是二进制文件直接可以修改 mnist的脚本用来生成标签！！这种在我看来不太实用，但是可以用来训练能力！第二部分会讲到工具将图像转换为LMDB格式
cat.jpg 1
cat_gray.jpg 2
DATA=/home/zhao/ming/caffe0/caffe/examples/images
rm -rf $DATA/img_train_lmdb
/home/zhao/ming/caffe0/caffe/build/tools/convert_imageset --shuffle \
--resize_height=256 --resize_width=256 \
/home/zhao/ming/caffe0/caffe/examples/images/ $DATA/train.txt $DATA/img_train_lmdb
I0204 10:07:19.045791 111449 convert_imageset.cpp:89] A total of 2 images.
I0204 10:07:19.046242 111449 db_lmdb.cpp:35] Opened lmdb /home/zhao/ming/caffe0/caffe/examples/images/img_train_lmdb
I0204 10:07:19.119742 111449 convert_imageset.cpp:153] Processed 2 files.
在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,jpeg,png,tif等格式的，而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)文件？
在caffe中，作者为我们提供了这样一个文件：convert_imageset.cpp，存放在根目录下的tools文件夹下。编译之后，生成对应的可执行文件放在 buile/tools/ 下面，这个文件的作用就是用于将图片文件转换成caffe框架中能直接使用的db文件。
该文件的使用格式：
convert_imageset [FLAGS] ROOTFOLDER/ LISTFILE DB_NAME
需要带四个参数：
FLAGS: 图片参数组，后面详细介绍
ROOTFOLDER/: 图片存放的绝对路径，从linux系统根目录开始
LISTFILE: 图片文件列表清单，一般为一个txt文件，一行一张图片
DB_NAME: 最终生成的db文件存放目录
如果图片已经下载到本地电脑上了，那么我们首先需要创建一个图片列表清单，保存为txt
本文以caffe程序中自带的图片为例，进行讲解，图片目录是 example/images/, 两张图片，一张为cat.jpg, 另一张为fish_bike.jpg，表示两个类别。
我们创建一个sh脚本文件，调用linux命令来生成图片清单：
# sudo vi examples/images/create_filelist.sh
编辑这个文件,输入下面的代码并保存
DATA=examples/images
echo "Create train.txt..."
rm -rf $DATA/train.txt
find $DATA -name *cat.jpg | cut -d '/' -f3 | sed "s/$/ 1/">>$DATA/train.txt
find $DATA -name *bike.jpg | cut -d '/' -f3 | sed "s/$/ 2/">>$DATA/tmp.txt
cat $DATA/tmp.txt>>$DATA/train.txt
rm -rf $DATA/tmp.txt
echo
这个脚本文件中，用到了rm,find, cut, sed,cat等linux命令。
rm: 删除文件
find: 寻找文件
cut: 截取路径
sed: 在每行的最后面加上标注。本例中将找到的*cat.jpg文件加入标注为1，找到的*bike.jpg文件加入标注为2
cat: 将两个类别合并在一个文件里。
最终生成如下的一个train.txt文件：
cat.jpg 1
fish-bike.jpg 2
当然，图片很少的时候，手动编写这个列表清单文件就行了。但图片很多的情况，就需要用脚本文件来自动生成了。在以后的实际应用中，还需要生成相应的val.txt和test.txt文件，方法是一样的。
生成的这个train.txt文件，就可以作为第三个参数，直接使用了。
接下来，我们来了解一下FLAGS这个参数组，有些什么内容：
-gray: 是否以灰度图的方式打开图片。程序调用opencv库中的imread()函数来打开图片，默认为false
-shuffle: 是否随机打乱图片顺序。默认为false
-backend:需要转换成的db文件格式，可选为leveldb或lmdb,默认为lmdb
-resize_width/resize_height: 改变图片的大小。在运行中，要求所有图片的尺寸一致，因此需要改变图片大小。 程序调用opencv库的resize（）函数来对图片放大缩小，默认为0，不改变
-check_size: 检查所有的数据是否有相同的尺寸。默认为false,不检查
-encoded: 是否将原图片编码放入最终的数据中，默认为false
-encode_type: 与前一个参数对应，将图片编码为哪一个格式：‘png','jpg'......
好了，知道这些参数后，我们就可以调用命令来生成最终的lmdb格式数据了
由于参数比较多，因此我们可以编写一个sh脚本来执行命令：
首先，创建sh脚本文件：
# sudo vi examples/images/create_lmdb.sh
编辑，输入下面的代码并保存
#!/usr/bin/en sh DATA=examples/images rm -rf $DATA/img_train_lmdb build/tools/convert_imageset --shuffle \ --resize_height=256 --resize_width=256 \ /home/xxx/caffe/examples/images/ $DATA/train.txt $DATA/img_train_lmdb
设置参数-shuffle,打乱图片顺序。设置参数-resize_height和-resize_width将所有图片尺寸都变为256*256.
/home/xxx/caffe/examples/images/ 为图片保存的绝对路径。
最后，运行这个脚本文件
# sudo sh examples/images/create_lmdb.sh
就会在examples/images/ 目录下生成一个名为 img_train_lmdb的文件夹，里面的文件就是我们需要的db文件了。
/
习题6.4 自己的手写体数字图片送入lenet测试
C++将数据转换为mnist格式，再运行create_mnist.sh脚本调用Caffe里的convert_mnist_data.cpp将图片转换成普通的数组格式，不是浪费时间吗，可能也只有练习C++的作用了，以后用C++的场合应该就直接修改Caffe源码来进行相关练习和测试吧。那么关于matlab的话主要参考这篇文章，图像转化为手写体mnist格式的数据，然后自己做了点微小的工作。
1.先使用PS故意画了个很挫的6，保存为28*28像素的png文件；
2.使用matlab打开它可以看到是28*28*3的矩阵，因为我使用的RGB标准，所以这里既可以在PS里直接把它改为灰度图，也可以在matlab里取三个分量的平均值或取单个通道的值也可以（因为我画的时候纯白底纯黑画笔画的）；
3.将这个原始图像以mnist格式写入一个文件，类似mnist官方下载到的t10k-images.idx3-ubyte和t10k-labels.idx1-ubyte
代码如下：
clc;
clear;
imgOrigin = imread('6.png');
imgBinaryImg = imgOrigin(:,:,1); %只取原图像一个分量，转换为灰度图像
imgMnist = fopen('test_img_ubyte', 'wb'); %w：写，如果没有自动创magic = 2051; //大段存储
numImages = 1; //写的图片数目
numRows = 28;
numCols = 28;
//以上四个是字节的头
fwrite(imgMnist, magic, 'int32', 0, 'ieee-be'); %ieee-be:大端存储
fwrite(imgMnist, numImages, 'int32', 0, 'ieee-be');%0貌似表是读完这个都下个之前的skip，0就是连着读，不跳
fwrite(imgMnist, numRows, 'int32', 0, 'ieee-be');
fwrite(imgMnist, numCols, 'int32', 0, 'ieee-be');//在这里就可以用for循环网里边写像素了
imgBinaryImg = permute(imgBinaryImg, [2 1]); %matlab以列为主进行运算
imgBinaryImg = reshape(imgBinaryImg, 1, numCols* numRows* numImages); %reshape按列转换
fwrite(imgMnist, imgBinaryImg, 'unsigned char');
fclose(imgMnist);
%将label转换为二进制
flabel = fopen('test_lable_ubyte', 'wb');
magic = 2049; //大端
numLabels = 1;
labels = 6; //标签值0-9
fwrite(flabel, magic, 'int32', 0, 'ieee-be');
fwrite(flabel, numLabels, 'int32', 0, 'ieee-be');
fwrite(flabel, labels, 'unsigned char');
fclose(flabel);
layer {
name: "mnist"
type: "Data"
top: "data"
top: "label"
include {
phase: TEST
}
transform_param {
scale: 0.00390625
}
data_param {
source: "examples/mnist/mnist_test_lmdb"
batch_size: 1
backend: LMDB
}
}batch_size为 1，因为只有一张图片嘛
然后调用想create_mnist.sh生成caffe需要的lmdb格式数据，然而这里我一直用的是win10系统，不能直接用linux下的脚本（找不到shell命令）,于是再转到ubuntu16.04下继续工作，实际后面就与常规的训练mnist步骤差不多了，Caffe官网也有tutorial.
然后修改create_mnist.sh里面创建lmdb，输入对应要转换的自己的文件名，所以其实一开始直接将原测试文件替换掉也可以，可以省去这一步。
set -e
EXAMPLE=examples/mnist
DATA=data/mnist
BUILD=build/examples/mnist
BACKEND="lmdb"
echo "Creating ${BACKEND}..."
rm -rf $EXAMPLE/mnist_test_zfq_${BACKEND}
$BUILD/convert_mnist_data.bin $DATA/test_img_ubyte \
$DATA/test_lable_ubyte $EXAMPLE/mnist_test_zfq_${BACKEND} --backend=${BACKEND}
echo "Done.然后调用Caffe的test语句，测试模型对于我画的6的accuracy，如下：
./build/tools/caffe test -model examples/mnist/lenet_train_test.prototxt \
-weights examples/mnist/lenet_iter_10000.caffemodel -iterations 1输出的最后几行:
I1213 12:13:12.657213 4049 net.cpp:283] Network initialization done.
I1213 12:13:12.662529 4049 caffe.cpp:285] Running for 1 iterations.
I1213 12:13:12.668015 4049 caffe.cpp:308] Batch 0, accuracy = 1
I1213 12:13:12.668031 4049 caffe.cpp:308] Batch 0, loss = 3.26639e-05
I1213 12:13:12.668035 4049 caffe.cpp:313] Loss: 3.26639e-05
I1213 12:13:12.668042 4049 caffe.cpp:325] accuracy = 1
I1213 12:13:12.668048 4049 caffe.cpp:325] loss = 3.26639e-05 (* 1 = 3.26639e-05 loss)
有几行还不能完全看懂，不过貌似是成功了，这么丑它都能识别出来。。
253
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
