python实现将图片数据以LMDB方式存储

以LMDB（Lightning Memory-Mapped Database）方式存储的优点

1. 高效性：LMDB是一种内存映射数据库，可以在内存和磁盘之间实现高效的数据访问。它利用操作系统的虚拟内存机制，将数据文件映射到内存中，从而避免了频繁的磁盘IO操作，提高了数据的读取和写入效率

2. 低内存占用：LMDB使用了页面缓存和写时复制（Copy-on-Write）的技术，可以在内存中保持数据的快速访问同时占用较少的内存空间。这对于处理大规模数据集或内存有限的环境非常有用

3. 并发支持：LMDB支持多线程或多进程的并发读取和写入操作，可以在高并发的数据访问场景下保持数据的一致性和可靠性

4. 数据压缩：LMDB支持数据的压缩，可以减小数据文件的大小，节省存储空间

5. 跨平台兼容：LMDB是一个跨平台的数据库，可以在不同的操作系统上使用，并提供了多种编程语言的接口，如C、Python等

代码示例

将目标分类的数据存储成“.lmdb”文件，

import pickle, lmdb
from tqdm import tqdm


img_paths = []
images, labels = [], []
for img_path in img_paths:
    images.append(img_path)
    labels.append(1)  ## 假设数据的label为1


combined = list(zip(images, labels))
random.shuffle(combined)
images, labels = zip(*combined)
images = list(images)
labels = list(labels)


def create_lmdb(images, labels, lmdb_path):
    assert len(images) == len(labels), "All lists must have the same length"

    db = lmdb.open(lmdb_path, map_size=int(1e12))

    with db.begin(write=True) as txn:
        bar = tqdm(images)
        for i, img_path in enumerate(bar):
            with open(img_path, 'rb') as f:
                img_data = f.read()

            meta_data = {'label': labels[i], 'size': len(img_data)}
            data = pickle.dumps((meta_data, img_data))
            txn.put(str(i).encode('utf-8'), data)
        
        txn.put('length'.encode('utf-8'), str(len(img_paths)).encode('utf-8'))

    print(f"Created LMDB dataset at {lmdb_path} with {len(img_paths)} images")


create_lmdb(images=images, labels=labels, lmdb_path="xxx.lmdb")