![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop-hbase
文章平均质量分 75
wtjmgj
这个作者很懒,什么都没留下…
展开
-
解决使用 HBase Bulk Loading 工具出现超过32个hfile的问题,针对一个region的family
导入指标时遇到 importtsv.bulk.output 目录输出的hfile文件个数超过32个时,需要分为多步操作,第一步: 先把超过的文件个数(bulk.output的目录下的hfile文件个数保持在32之内)移到别的目录下。第二步: 执行 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles output...原创 2017-06-27 09:04:37 · 1639 阅读 · 0 评论 -
解决预期数据下HBase建表时如何预分区regions.
最近一次发现导入10几T数据到HBase(自动分配regions模式)表中,该表只占用55个resions匪夷所思, 根据每个resions存储文件的大小10G( hbase.hregion.max.filesize设置的值是10G), hbase表压缩方式为:“SNAPPY”格式.此类压缩比在60%左右. 根据以上计算,数据表最少分配600个resions. 实际通过查看hbase表各个resi...原创 2017-09-08 19:55:51 · 673 阅读 · 0 评论