1.HBase数据热点问题
问题描述:
在某一个时刻,电池数据表的以某些规则开头的数据,比如M12******,这些电池一直在上报数据,由于HBase的存储是按照字典顺序排序的,所有某一时刻,相似规则的数据落在了同一个region上,造成了数据热点。
解决方法:
我们采取的是rowkey散列+预分区的方式:http://student-lp.iteye.com/blog/2309075
在建表的时候,按照字典顺序,随机生成一批startkey和endkey的集合,这些集合按照字典顺序排列,写入数据的时候,将要写入的【key_时间戳】前面加上哈希前缀,形成【三位哈希值_key_时间戳】方式,将写入数据的压力分散开。
2.HBase插入数据过慢问题
问题描述:
历史数据的消费过程,就是把数据写入HBase的过程,但是写入HB