【Caffe】：制作自己数据集的Lmdb文件&均值文件计算

1.数据准备

数据文件：
如下图所示，behavior_dataset文件夹里面放的是训练和测试的图片，二级目录如图2所示，这个一级和二级目录的格式并不是定死的，是可以灵活放置的，其关键点在于要能够这两级目录的放置和train.txt,test.txt中的内容结合起来能够找到图片所在位置并读入。

train.txt & test.txt文件：

这两个文件的格式如下图所示，当然具体的格式仍然可以灵活的改变。和上面数据文件夹的准备一样，只要能够通过头文件夹结合这个txt文件中的路径最终能够访问到图片就行了，唯一一个固定的格式就是在文件路径最后要加上空格，空格之后加上当前图片所属类别，且该类别从0开始标识。

2.通过批处理文件create_imagenet.sh进行lmdb生成

该批处理文件一般位于：caffe-master/example/imagenet/ 这个文件夹中。我们需要修改这个批处理文件中一些路径的设置，使得其符合自己的数据路径，和输出的文件路径及文件名。

3.生成过程中遇到的问题

问题1：若是遇到 a total of 0 images，这种问题，基本就是图片路径的问题，尽量把sh文件中的路径换成绝对路径。

问题2：

遇到如上图所示问题就是没有在sh文件中删掉上一次生成的lmdb文件，在之前sh文件中加入两句rm指令就可以解决这个问题了。

问题3：
有的时候会遇到permission denied，这个时候修改一下文件夹权限（利用chmod指令）

### 4.均值文件计算

图片减去均值后，再进行训练和测试，会提高速度和精度。因此，一般在各种模型中都会有这个操作。

那么这个均值怎么来的呢，实际上就是计算所有训练样本的平均值，计算出来后，保存为一个均值文件，在以后的测试中，就可以直接使用这个均值来相减，而不需要对测试图片重新计算。

一、二进制格式的均值计算

caffe中使用的均值数据格式是binaryproto, 作者为我们提供了一个计算均值的文件compute_image_mean.cpp，放在caffe根目录下的tools文件夹里面。编译后的可执行体放在 build/tools/ 下面，我们直接调用就可以了

# sudo build/tools/compute_image_mean examples/mnist/mnist_train_lmdb examples/mnist/mean.binaryproto

带两个参数：

第一个参数：examples/mnist/mnist_train_lmdb， 表示需要计算均值的数据，格式为lmdb的训练数据。

第二个参数：examples/mnist/mean.binaryproto， 计算出来的结果保存文件。

二、python格式的均值计算

如果我们要使用python接口，或者我们要进行特征可视化，可能就要用到python格式的均值文件了。首先，我们用lmdb格式的数据，计算出二进制格式的均值，然后，再转换成python格式的均值。

我们可以编写一个python脚本来实现：

#!/usr/bin/env python
import numpy as np
import sys,caffe

if len(sys.argv)!=3:
    print "Usage: python convert_mean.py mean.binaryproto mean.npy"
    sys.exit()

blob = caffe.proto.caffe_pb2.BlobProto()
bin_mean = open( sys.argv[1] , 'rb' ).read()
blob.ParseFromString(bin_mean)
arr = np.array( caffe.io.blobproto_to_array(blob) )
npy_mean = arr[0]
np.save( sys.argv[2] , npy_mean )

 将这个脚本保存为convert_mean.py

调用格式为：

# sudo python convert_mean.py mean.binaryproto mean.npy

其中的 mean.binaryproto 就是经过前面步骤计算出来的二进制均值。

mean.npy就是我们需要的python格式的均值。