HBase表设计原则整理

1、列簇的设计  
  • 列簇尽量少,最好不超过3个。因为每个列簇是存在一个独立的HFile里的,flush和compaction操作都是针对一个Region进行的,当一个列簇的数据很多需要flush的时候,其它列簇即使数据很少也需要flush,这样就产生的大量不必要的io操作。
  • 在多列簇的情况下,注意各列簇数据的数量级要一致。如果两个列簇的数量级相差太大,会使数量级少的列簇的数据扫描效率低下。
  • 将经常查询和不经常查询的数据放到不同的列簇。
  • 因为列簇和列的名字会存在HBase的每个Cell中,所以他们的名字应该尽可能的短。比如,用f:q代替mycolumnfamily:mycolumnqualifier

2、rowkey的设计  
  • 避免使用递增的数字或时间做为rowkey。
  • 如果rowkey是整型,用二进制的方式比用string来存储更节约空间
  • 合理的控制rowkey的长度,尽可能短,因为rowkey的数据也会存在每个Cell中。
  • 如果需要将表预分裂为多个region是,最好自定义分裂的规则。


参考文献: 
  • http://www-01.ibm.com/support/knowledgecenter/SSPT3X_2.1.2/com.ibm.swg.im.infosphere.biginsights.analyze.doc/doc/bigsql_designhints.html
  • http://hbase.apache.org/book/number.of.cfs.html
  • http://hbase.apache.org/book/columnfamily.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值