【大数据处理】键值对数据库Leveldb

Leveldb

1. Leveldb介绍
   Leveldb是一个google实现的非常高效的（key-value）数据库，能够支持十亿级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。
   LevelDB 是单进程的服务，性能非常之高，在一台4核Q6600的CPU机器上，每秒钟写数据超过40w，而随机读的性能每秒钟超过10w。
2. Python Leveldb
   Python有实现了leveldb，在这里可以下载
3. Python Leveldb 的安装
   ubuntu下安装leveldb非常的简单

sudo pip install leveldb

即可搞定。
4. 使用也很简单，其函数和参数也就那么几个

import leveldb

# 注意需要先新建文件
import os
mkdir('./db')
db = leveldb.LevelDB('./db')

# single put
db.Put('hello', 'world')

print db.Get('hello')

# single delete
db.Delete('hello')

#下面这一句会报错。
print db.Get('hello')

# multiple put/delete applied atomically, and committed to disk
batch = leveldb.WriteBatch()
batch.Put('hello', 'world')
batch.Put('hello again', 'world')
batch.Delete('hello)

db.Write(batch, sync= True)

实际中的应用：

我是学习和使用caffe才知道有leveldb 这个东西的，比leveldb更高级的有LMDB，不过我看了下其文档，比leveldb复杂多了，先学习leveldb，有时间再学习leveldb。
在caffe中没有python的leveldb 示例，都是用C++直接将图片转化leveldb，之前仿照着写一个将自己的图片保存为leveldb，训练之后发现错误，而且找不到原因，所以就找了python的实现，毕竟python找错误比较简单一些。

在caffe中，需要准备训练数据，其中有多种数据的保存格式，比较高效的是leveldb和lmdb，比较低效的hdf5 和直接图像文件。

要将训练数据保存为leveldb或者lmdb，只要把数据转化为键值对即可，即图像为key，标签为value。