qdbm对大文件支持问题

最近应用的数据量越来越大，访问量也越来越大，MySQL数据库不堪重负，考虑把部分数据用key-value类型的文件数据库存储。

 

由于对速度要求比较高，所以一开始选用了据说很快的qdbm。测试了一下，的确很快，接口也非常简单。但是遇到两个问题，

 

第一个是备份的问题。qdbm带了一些管理工具，其中也有exportdb/importdb这样的功能，但是对运行中的数据文件不能操作。暂时只能先copy一份，然后repair，感觉不是很好。

 

第二个问题比较麻烦，在测试中，当数据文件超过2.1G以后，就写不进数据了。qdbm的作者在文档里说到：

As for many file systems, it is impossible to handle a file whose size is more than 2GB. To deal with this problem, QDBM provides a directory database containing multiple database files. Due to this feature, it is possible to handle a database whose total size is up to 1TB in theory.

似乎也是可以解决的，不过没精力去钻研了。。。

 

现在的方案中使用的是Berkeley DB，速度慢了一些，但是足够快了，而且Berkeley DB的db_dump工具对运行时的数据导出支持的不错。接下来的问题是io有点大，还要想想办法，数据量实在太大了。。。

 

老天，把我的硬盘都变成SSD的吧，或者干脆给我10000台服务器吧！