数据从mysql迁移到hbase的一些思考及设计

一、进行迁移的原因

由于业务的发展，使用mysql进行建立索引进行搜索已经造成数据流的瓶颈卡在了数据库io，例如每次dump全表的时候，会造成压力过大，造成耗时很长，并且当前的数据量基本上已经达到了亿级别的数据量，如果希望mysql能更好的提供服务，下一步必须考虑分库分表才可以；基于这种情况下，考虑使用hbase用来进行数据的存储，因为hbase所能承受的数据量远大于mysql，并且对列的扩展也很方便

二、关系型数据库与Nosql的一些区别

（1）存储方式的区别

在类似mysql，sqlserver，oracle等关系型数据库，数据的存储是按照行进行存储的，如下图所示：

但是在hbase里面，所有的数据是基于列进行存储的，如下所示：

其中hbase的逻辑模型如下所示：