图像数据集保存为lmdb格式 python

通过lmdb对图像进行保存（编解码）

LMDB 是一个小型数据库，具有一些出色的特性：

1. 有序的图界面（键总是按字典顺序排序）。
2. 读取器不阻塞写入器，写入器不阻塞读取器。每个环境都支持一个并发写入。 读取非常便宜。
3. 环境可以由同一主机上的多个进程打开，使其成为解决 Python 的GIL 的理想选择。
4. 可以使用覆盖所有命名数据库的事务创建多个命名数据库。
5. 内存映射，允许零拷贝查找和迭代。这可以选择使用buffer()接口暴露给 Python 。
6. 维护不需要外部进程或后台线程。
7. 不需要应用程序级缓存：LMDB 充分利用了操作系统的缓冲区缓存。

1、命名数据库
命名数据库要求在调用或时提供max_size 。

env = lmbd.open(lmdb_path, map_size=map_size)

lmdb_path为.lmdb文件的保存路径

txn = env.begin(write=True)

接下来添加txn实例对象的键和值

txn.put(key_byte, img_byte)

通过commit()挂起，（如果分段保存的话，需要每一次commit 后，再定义一次 txn=env.begin(write=True)）

txn.commit()
txn = env.begin(write=True)

下面提供一个将数据集保存成lmdb格式的demo

#create lmdb environment
img = cv2.imread(os.path.join(img_path_list[0])),cv2.IMREAD_UNCHANGED)
_, img_byte = cv2.imencode('.png', img, [cv2.IMWRITE_PNG_COMPRESSION, compress_level])
#compress_level为图像的压缩率
data_size_per_img = img_byte.nbytes
map_size = data_size_per_img * len(img_path_list) * 10
env = lmdb.open(lmdb.path, map_size=map_size)

#write data to lmdb
pbar = tqdm(total=len(img_path_list), unit='chunk')
txn = env.begin(write=True)
for idx, (path, key) in enumerate(zip(img_path_list, keys)):
	pbar.update(1)
	_, img_byte, img_shape = read_img_worker(os.path.join(path), key, compress_level)
	h, w, c = img_shape
	txn.put(key_byte, img_byte)
	#分段保存
	if idx % bath ==0:
	txn.commit()
	txn = env.begin(write=True)
pbar.close()
txn.commit()
env.close()
print(\nFininsh writing lmdb')

其中，read_img_worker()为：

def read_img_worker(path, key, compress_level):
	img = cv2.imread(path, cv2.IMREAD_UNCHANGED)
	h, w, c = img.shape
	_, img_byte = cv2.imencode('.png', img, [cv2.IMWRITE_PNG_COMPRESSION, compress_level])
	return (key, img_byte, (h, w, c))