合并两个LMDB文件

通过caffe源码知道LMDB内部结构,是key,value的形式，所以可以用下面的python代码实现

# -*- coding: utf-8 -*-

"""
Created on Wed Jun  1 10:27:03 2016

@author: anmeng

"""

import lmdb

env = lmdb.open("/opt/caffe-master/examples/mnist-test/hantrain_lmdb")

env2 = lmdb.open("/opt/caffe-master/examples/mnist-test/ys_train_lmdb")

env.set_mapsize(1000L*1000L*1000L*16) #扩大映射范围，才可以追加

print(env.stat()) #状态


print(env2.stat())

txn = env.begin(write=True)

txn2 = env2.begin()


database1 = txn.cursor()

database2 = txn2.cursor()

#env.open_db(key="newDBName", txn=txn)

#newDatabase = txt.cursor("newDBName")

for (key, value) in database2:

    database1.put(key,value)

 
print("success")

• LMDB中的Key和Value

('00000000_data/mnist-testdata/ys_train/38ht_3492.jpg', '\x08\x01\x10(\x18("\xc0\x0c\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x02\x02\x00\x00\x00\x02\x02\x00\x00\x00\x01\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x02\x01\x00\x00\x00\x00\x03\x03\x00\x00\x00\x00\x01\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\x02\x00\x02\x04\x01\x00\x00\x00\x01\x00\x00\x01\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x01\x01\x01\x01\x00\x00\x01\x00\x01\x00\x00\x00\x02\x02\x00\x00\x00\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x01\x01\x01\x03\x02\x00\x00\x02\x03\x02\x01\x01\x01\x01\x02\x04\x02\x00\x02\x01\x00\x00\x00\x01\x01\x00\x01\x01\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x02\x03\x03\x02\x01\x00\x00\x02\x02\x02\x02\x01\x01\x00\x02\x00\x00\x11#%\x14\x00\x03\x01\x02\x00\x00\x03\x02\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x02\x03\x02\x02\x03\x00\x02\x04\x00\x00\x03\x01\x04\x01\x04\x00\x17q\xb1\xa6>\x06\x03\x01\x01\x00\x01\x02\x03\x02\x01\x00\x00\x00\x00\x00\x01\x00\x00\x00\x01\x02\x01\x01\x00\x03\x01\x00\x1bOX3\n\x00\x03\x02\x1f\x92\xef\xe8e\x0c\x01\x00\x00\x02\x04\x00\x03\x02\x01\x00\x00\x00\x00\x00\x00\x00\x01\x00\x01\x00\x06\x00\x06\x054@q\xc5\xd6\xacF\t\x02\x00\x1a\x89\xeb\xe4d\x10\x03\x00\x01\x00\x00\x04\x00\x03\x00\x01\x01\x00\x01\x00\x00\x01\x00\x00\x00\x07\r\x18\x1bG\xa7\xc1\xd9\xf3\xff\xf0\x94"\x00\x03\x14\x7f\xea\xe3p\x13\x01\x00\x04\x00\x05\x00\x02\x02\x00\x01\x00\x00\x01\x00\x00\x00\x04\x01b\x91\x87\x95\x9e\xbf\xf2\xfb\xfc\xec\xb3\x8fd\x16\x00\x04\x10q\xdf\xed\x94-\x05\x01\x02\x06>5\x08\x01\x00\x01\x00\x01\x00\x00\x00\x01\x00\x02\xdc\xfd\xfb\xff\xff\xfb\xfc\xf0\xbe\x8a= \x11\x05\x01\x00\x11o\xdb\xfb\xd8\x89UYg{\xb2j\x0c\x00\x01\x01\x00\x01\x00\x00\x03\x00\x01\x00\xe7\xfc\xf6\xec\xf2\xff\xfc\xceg#\x0e\x01\x01\x03\x01\x00\x0ef\xd8\xff\xfd\xe8\xcf\xd3\xdc\xe5\xed\x7f\x0c\x00\x01\x01\x00\x01\x00\x00\x00\x01\x01\x00P\x80o\x82\xbd\xf5\xf8\xc9S\x00\x01\x00\x00\x01\x00\x01\rZ\xd1\xfc\xe4\xc6\xb4\xab\x9e\x8ayE\t\x01\x00\x01\x00\x00\x00\x00\x02\x00\x00\x00\x04\x03\x03\x04O\xc0\xfc\xceZ\x05\x01\x00\x03\x04\x00\x00\x0eR\xca\xf8\xbcT/-)\x1b\x0f\n\x04\x03\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x06\x01\x16~\xfb\xd4c\x00\x01\x07\x01\x00\x00\x04\x08B\xc1\xf3\xb5-\x03\x01\x00\x02\x06\x01\x00\x04\x00\x01\x01\x00\x01\x00\x00\x04\x00\x03\x04\x00\x00\x02\x1e\x8d\xfd\xe6\x95LZU%\x03\x04\x00\x086\xb8\xf9\xbd6\x04\x01\x00\x00\x00\x01\x01\x01\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x04\x0b\x1eR\xd0\xfb\xf8\xe2\xc4\xd5\xccl\x04\x01\x03\x065\xb3\xf9\xd1hDSbP\x0e\x05\x02\x01\x01\x01\x00\x00\x00\x00\x03\x00\x00\x02\'\x8a\x88\x96\xc7\xfd\xff\xfd\xfa\xfd\xd4\x83F\x11X\x93\x9c\xb0\xe2\xff\xf4\xd4\xce\xd5\xd5\xb9$\x00\x02\x01\x01\x01\x00\x00\x00\x00\x00\x02\x00\x01E\xff\xf3\xec\xe0\xe8\xfb\xfb\xdf\xa7p\x1d\x0e\x1a\x8e\xfc\xff\xff\xfc\xfb\xff\xfb\xfe\xfe\xf9\xdf%\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x02\x01\x00\x1b\x8bwqk\x8a\xfd\xf5\xb1/\x18\x02\x02\x0c\x85\xff\xfb\xf3\xe9\xda\xce\xbf\xb4\xb4\xea\xe7+\x06\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x02\x01\x02\x06\x01\x00\x019\xfa\xf8\xa6\x0b\x01\x02\x03\x13\x83\xf4\xf0\x9dQM@93:\xc2\xe26\x00\x02\x02\x01\x01\x00\x00\x00\x00\x00\x01\x03\x00\x00\x00\x06\x00\x06?\xe8\xf7\xb0\x0f\x06\x1d7\x13t\xf5\xeds\r\x06\x02\x01\x01\x11\xb1\xe0H\t\x03\x02\x02\x01\x00\x00\x00\x00\x01\x00\x00\x04\x00\x04\x02\x05\x1bD\xe4\xfa\xc4]W\x8c\xa7Vs\xe7\xf0\x83\x14\x00\x00\x03\x01\x14\xa4\xdfQ\x06\x02\x02\x01\x00\x00\x00\x00\x00\x01\x00\x00\x00\x03\x01\n\x1d\x88\xb8\xef\xfb\xef\xcf\xd4\xe4\xed\xa3}\xe0\xf4\x8c\x1e\x00\x02\x00\x01\t\x91\xe1]\t\x03\x04\x00\x00\x00\x01\x00\x01\x00\x00\x02\x00\x01d\x8d\x9f\xe5\xfb\xfe\xfb\xea\xbe\xa5\xa3\x96ag\xd5\xf4\x98\x1f\x03\x00\x06\x030\xad\xe8j\x10\x00\x00\x00\x03\x01\x00\x00\x02\x01\x01\x01\x00b\xdd\xfb\xf6\xeb\xf1\xfc\xff\xd4c. \x1d\x18U\xd1\xf6\xaa<!-9D\x8f\xe2\xeeu\x0c\x01\x01\x01\x02\x00\x00\x01\x00\x00\x02\x00\x00j\xe3\xef\x98u\xba\xf6\xf8\xc8C\x03\x04\x01\tI\xc8\xfb\xdc\xb6\xb1\xb9\xc1\xce\xe8\xf8\xf9\x93\x14\x01\x00\x00\x01\x01\x00\x01\x00\x02\x00\x03\x02\x05Jt*\tW\xbf\xfa\xd0S\x00\x00\x00\x06D\xc3\xfb\xef\xe6\xdf\xcf\xc8\xba\xae\xa7\x93RG\x8d\x98[\x01\x00\x02\x00\x01\x00\x03\x00\x00\x06\x00\x03\x02\x02\x16\x8f\xff\xdb_\x02\x03\x03\x00\x1eVh^WMH;62% \x13[\xe3\xfa\xdfx\x03\x00\x02\x00\x01\x00\x00\x03\x00\x04\x03\x00\x03\x1d\x8e\xf9\xdfj\x00\x00\x00\x01\x06\x07\x03\x00\x01\x01\x02\x00\x00\x01\x03\x05\x03F\xe9\xf8\xc6.\x03\x00\x02\x00\x01\x00\x01\x00\x03\x00\x00\x02\x01\x11u\xfa\xe4x\x00\x02\x00\x04\x00\x00\x05\x08\x18%.;ELZdy\xa3\xf5\xfd\xb3\x06\x00\x01\x00\x01\x00\x00\x00\x00\x01\x01\x00\x00\x07\x10n\xfd\xed\xa3Palt\x80\x8d\x98\xa1\xa8\xad\xb6\xbf\xca\xd1\xd4\xd9\xe5\xef\xfb\xfc\xd0\x03\x03\x00\x01\x00\x00\x00\x00\x00\x01\x01\x01\x02\x00\x0bQ\xe0\xfe\xe3\xcc\xd8\xe6\xe9\xef\xf5\xfa\xfe\xff\xff\xff\xff\xff\xff\xff\xff\xfe\xfe\xfd\xf6F\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x02\x03\x02\x04!}\xd9\xff\xfc\xfc\xfb\xfd\xff\xff\xfd\xf3\xe7\xde\xd2\xc6\xb8\xad\xa4\x99\x8a\x80qY\x05\x05\x03\x01\x05\x00\x00\x00\x00\x00\x00\x01\x02\x03\x01\x02\x04\x16m\xb6\xb2\xa6\x94\x8c\x81ujaYSH@71+$\x1b\x14\x0f\x02\x05\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x01\x00\x00\x01\x00\x02\x00\x00\x00\x01\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00\x01\x01\x01\x02\x00\x00\x00\x02\x01\x02\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x02\x00\x01\x01\x00\x02\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x01\x01\x01\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x02\x02\x00\x02\x00\x00\x01\x01\x01\x00\x00\x00\x00\x00\x00\x00\x01\x01\x01\x01\x00\x04\x00\x00\x03\x01\x00\x01\x00\x00\x00\x00\x00\x01\x00\x00\x01\x00\x02\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x01\x00\x00\x03\x00(\xa4\x1b8\x00')

转载于:https://www.cnblogs.com/anmengcv/p/5641603.html