HiveDB, 一个横向切分MySQL海量数据的框架

 http://hi.baidu.com/jabber/blog/item/e39ef81f1bca2df3e1fe0b3d.html

HiveDB, 一个横向切分MySQL海量数据的框架

2008-07-16 00:29

1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现，底层基于 Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在" 20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate extension，贡献给开源社区希望发扬光大； 2. HiveDB推出到现在也不算短，开发进度相对平缓。功能上已经处于一个相对稳定1.0状态，核心功能已经基本没大的问题。作者声称已经在一个每秒请求数达数千次的，包含海量数据的生产环境稳定运行； 3. HiveDB/Hibernate shards所适用的典型场合就是一个海量记录的表，可以根据某个规则分开存到多个相同表结构的数据库服务器上。和 HSCALE功能差不多，但HSCALE当前版本实际上还不能跨服务器的； 4. 可以查询跨服务器数据，但不能做 order/join； 5. 具有类似mysql proxy之类多服务器容错功能，单独服务器发生故障不影响系统正常运行，通过类似 ha-jdbc思想实现； 6. 目前只支持Java语言，有支持各种语言如php/python/perl/ruby hive client的计划，但是目前只有一个 python hive client测试版可用。 图片：按字段(Partition Key)切分典型场合