java读取mapdb_mapdb实践

mapdb是什么

mapdb是一个嵌入式java数据库引擎，主要提供map和set形式的数据存储，使用起来就像是在操作java本身的map,set，事实上mapdb的确实现了jdk中对应的接口，mapdb可以提供内存级别和磁盘级别的缓存，采用了fluent api，使用起来还是很方便的，底层实现部分使用了kotlin。

不同的db

mapdb提供了内存级别数据库，使用jvm堆空间

DB db = DBMaker.memoryDB().make();

直接内存数据库，使用direct memory

DB db = DBMaker.memoryDirectDB().make();

random access file数据库，使用磁盘空间

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb").make()

使用mmap(memory map file)数据库，同样使用磁盘空间，但是使用了内存映射技术，进程读取数据的时候不需要陷入内核态，直接从内存映射地址找到磁盘上对应的地址，比楼上快很多

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")

.fileMmapEnableIfSupported().make()

还有一种是使用filechannel，性能介于以上两者之间

map类型

创建好数据库后可以使用treemap和hashmap，两者的区别可参考官方文档，不过官方文档目前么有给出两者的具体对比，有点尴尬。

对于hashmap，需要注意参数layout

ConcurrentMap map = db.hashMap("words")

.keySerializer(Serializer.LONG)

.valueSerializer(Serializer.STRING)

.layout(64, 64, 4)//分别表示concurrentcy,nodeSize,levels

.createOrOpen();

直接给出官方文档解释，我们在使用时需要估计最大存储量，否则超过最大值过后性能会下降。

对于treemap，需要注意参数valuesOutsideNodesEnable

看官方文档，一个叶子节点默认最大可包含32个entry，使用get方法时会把节点下所有entry的value都反序列化，为了提高性能可以将value存储在节点之外提供性能。另外节点的最大entry数可以通过maxNodeSize()方法设置，值越大，b树更浅，查找次数少，但是反序列化慢。

测试时的最佳实践

分别在单线程读写和多线程读写进行操作，参数配置如下

DB db = DBMaker.fileDB("/Users/cdqiushengsen/Documents/helloTreeMapDb")

//.checksumHeaderBypass()

.fileMmapEnableIfSupported()//1

.fileMmapPreclearDisable()//2

.cleanerHackEnable()//3

.closeOnJvmShutdown()//4

.transactionEnable()//5

.concurrencyScale(128)//6

.make();

ConcurrentMap map = db.treeMap("words")

.keySerializer(Serializer.LONG)

.valueSerializer(Serializer.STRING)

.valuesOutsideNodesEnable()

.createOrOpen();

对于1，表示如果支持的话使用mmap，也就是在64为操作系统开启，32位不开启，因为太小了；

对于2，是对使用mmap的优化，官方文档说快快快

对于3，这是针对使用mmap时，jvm所出现的bug所做的处理，实际上也还有其他问题，具体可参考官方文档和http://www.mapdb.org/blog/mmap_file_and_jvm_crash/

对于4，指的是jvm正常关闭时，将会关闭数据库，但是如果使用kill -9等强制关闭措施将导致mapdb的校验和出现问题，下次打开时将出现异常，虽然可以使用checksumHeaderBypass参数规避这个问题，但是官方还是建议使用事务来保证数据的安全性

对于5，开启事务，写的速度下降，但是数据安全了

对于6，数据库内部本质还是读写锁，因此更高的并发度设置在并发写的时候可以提供写性能

其他的：使用了mmap真的比random access file快很多，绝对值得尝试，虽然有坑！！！希望jvm早日修复mmap的bug