淘宝海量数据库OceanBase 系统架构详解

               

无论从数据量还是访问量，OceanBase不再能够是一个单机系统，即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力，因此，分布式系统不可避免，然而，内部如何实现拆表(拆库)以及如何实现数据库的事务，成为了一个很大的挑战和十分艰难的抉择：

 

一种选择是当前数据库的常用的水平拆库，淘宝在这方面已经有很多实践。通常的做法是对主键进行hash或者取模(其实是一种特殊的hash)，把数据分布到不同的DB服务器上，客户端通过路由或规则访问特定的数据库，将整个系统的数据和访问负载分散到多台服务器上，降低了单台机器的负载压力。但这种做法存在一些弊端：

　　第一， 数据和负载增加后添加机器的操作比较复杂;

　　第二， 许多跨行/跨表的修改通常涉及到多台机器，难以支持事务;

　　第三， 有些范围查询需要访问几乎所有机器;

　　第四， RDBMS单机数据量小(例如许多情况下MySQL单机支撑200GB左右的数据时会有较好的性能)，可能消耗较大的机器资源;

　　最关键的是，这种方法早在多年前就被几乎所有关系数据库厂商采用并积累了丰富的经验，而OceanBase项目团队没有任何理由做得更好。

　　还有一种选择分布式B+树(类似于BigTable和HBase)，按主键的范围动态拆库，即把整个表看成主键的B+树，每个叶子节点(大约两百多MB)对应一个连续的主键范围，叶子节点可能因为修改删除等变得太大或太小从而进行分裂或者合并，容错、故障恢复以及负载平衡等都以叶子节点为单位(关于BigTable的更多信息可参加另外