python读取lmdb文件_使用python制作LMDB数据库

## 1. LMDB简介

LMDB的全称是Lighting Memory-Mapped Database(闪电般的内存映射数据库)。它的结构很简单，一个文件夹，里面一个数据文件，一个锁文件。数据随意复制，随意传输。它的访问简单，不需要单独的数据管理进程。只要在访问代码里引用LMDB库，访问时给文件路径即可。

Caffe中使用的数据结构很简单，就是大量的矩阵和向量。数据之间没有关联，数据内没有复杂的对象结构，就是矩阵和向量。既然数据不复杂，Caffe就选择了LMDB这个简单的数据库来存放数据。

Caffe使用LMDB数据库，有以下两点原因：

- 数据源的格式多样性，有文本文件、二进制文件、图像文件等等，不可能用一个代码完成上述所有的数据格式。因此，要通过LMDB数据库，转化成统一的数据格式可以简化数据读取层的实现。

- 使用LMDB数据库可以大大节约磁盘IO的时间开销。因此，我们都有体会，一个具有几万个、几十万个文件的数据集，不管是直接复制，还是打开再解包，过程都巨慢无比。LMDB只有一个文件，你的介质有多快，就能复制多快，不会因为文件多而慢的令人心碎。

## 2. 环境配置

首先我们需要python包lmdb和caffe的python接口pycaffe。LMDB提供键值对的存储方式，其中每一个键值对就是我们数据集的一个样本。一般而言，键代表ID字符串，值代表序列化后的Caffe框架的Datum类(使用protobuf编译)。

## 3. Caffe中的Datum数据结构

Caffe中并不是把向量和矩阵直接放进数据库，而是将数据通过`caffe.p