【Python配置】lmdb使用

LMDB(Lighting Memory-Mapped Database)内存映射数据库,数据格式就像是dict类型,由key-value组成。一个LMDB数据库应该包括两个文件:1.data(数据)文件 2.lock(锁)文件。LMDB使用内存映射的方式访问文件,使得文件内寻址的开销非常小,使用指针运算就能实现。


1.初始化

def initialize():
    env = lmdb.open('test')
    return env

2.插入(key是唯一的)

def insert(env, key, value):
    txn = env.begin(write=True)
    txn.put(str(key), value)
    txn.commit()

3.删除

def delete(env, key):
    txn = env.begin(write=True)
    txn.delete(str(key))
    txn.commit()

4.更新

def update(env, key, value):
    txn = env.begin(write=True)
    txn.put(str(key), value)
    txn.commit()

5.查询

def search(env, key):
    txn = env.begin()
    name = txn.get(str(key))
    return name

6.全部显示

def display(env):
    txn = env.begin()
    cur = txn.cursor()
    for key, value in cur:
        print('key : ', key, '--- value : ', value)

参考链接:
LMDB使用说明


问题1:在Python3下面使用txn.put(),出现错误:

TypeError: Won't implicitly convert unicode to bytes use .encode()

即使改成txn.put(str(x).encode(),value)好像也不可以。但是切换到Python2就没有问题了。

将LaSOT数据集转换为LMDB格式的步骤如下: 1. 首先,需要下载并解压缩LaSOT数据集。您可以从以下链接下载数据集:http://vision.cs.stonybrook.edu/~lasot/download.php 2. 然后,您需要安装LMDB库。您可以从以下链接下载并安装LMDB库:https://github.com/LMDB/lmdb 3. 接下来,您需要使用脚本将LaSOT数据集转换为LMDB格式。以下是一个示例脚本: ``` import lmdb import os import cv2 import numpy as np def prepare_lmdb_data(data_dir, lmdb_file): env = lmdb.Environment(lmdb_file, map_size=int(1e12)) txn = env.begin(write=True) for root, dirs, files in os.walk(data_dir): for file in files: if file.endswith(".jpg"): video_name = os.path.basename(root) frame_name = os.path.splitext(file)[0] img_path = os.path.join(root, file) img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 将图像转换为LMDB格式 datum = caffe.proto.caffe_pb2.Datum() datum.channels = 3 datum.height = img.shape[0] datum.width = img.shape[1] datum.data = img.tobytes() datum.label = -1 key = (video_name + "/" + frame_name).encode("ascii") txn.put(key, datum.SerializeToString()) txn.commit() env.close() if __name__ == "__main__": data_dir = "/path/to/LaSOT/dataset" lmdb_file = "/path/to/LaSOT/lmdb" prepare_lmdb_data(data_dir, lmdb_file) ``` 4. 运行脚本,将LaSOT数据集转换为LMDB格式。请注意,此过程需要一些时间和计算资源,具体取决于数据集的大小和您的计算机性能。 5. 转换完成后,您可以使用LMDB库读取和处理数据集。以下是一个示例代码片段: ``` import lmdb import caffe env = lmdb.open('/path/to/LaSOT/lmdb', readonly=True) with env.begin() as txn: cursor = txn.cursor() for key, value in cursor: datum = caffe.proto.caffe_pb2.Datum() datum.ParseFromString(value) img = np.fromstring(datum.data, dtype=np.uint8).reshape(datum.channels, datum.height, datum.width) img = img.transpose((1, 2, 0)) # 转换为RGB格式 label = datum.label # 处理图像和标签 env.close() ``` 希望这可以帮助您将LaSOT数据集转换为LMDB格式。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值