HBase踩过的坑——持续更新

 

1.HBase数据热点问题

 

   问题描述：

 

  在某一个时刻，电池数据表的以某些规则开头的数据，比如M12******，这些电池一直在上报数据，由于HBase的存储是按照字典顺序排序的，所有某一时刻，相似规则的数据落在了同一个region上，造成了数据热点。

 

   解决方法：

 

  我们采取的是rowkey散列+预分区的方式：http://student-lp.iteye.com/blog/2309075

  在建表的时候，按照字典顺序，随机生成一批startkey和endkey的集合，这些集合按照字典顺序排列，写入数据的时候，将要写入的【key_时间戳】前面加上哈希前缀，形成【三位哈希值_key_时间戳】方式，将写入数据的压力分散开。

 

2.HBase插入数据过慢问题

 

问题描述：

 

历史数据的消费过程，就是把数据写入HBase的过程，但是写入HBase过慢，容易造成消费不过来，产生数据堆积，由于数据堆积，会影响Kafka拉取数据消费发送心跳的超时。

 

解决方法：

 

1，  HBase写操作尽量采用批量写入操作；

2࿰