![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
文章平均质量分 92
wdier
这个作者很懒,什么都没留下…
展开
-
HBase HFile BulkLoad
原文:http://shitouer.cn/2013/02/hbase-hfile-bulk-load/一、这种方式有很多的优点:1. 如果我们一次性入库Hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式转载 2017-03-30 16:01:52 · 667 阅读 · 0 评论 -
HBase Rowkey热点问题
当处理由连续事件得到的数据时,即时间上连续的数据。这些数据可能来自于某个传感器网络、证券交易或者一个监控系统。它们显著的特点就是rowkey中含有事件发生时间。带来的一个问题便是Hbase对于row的不均衡分布,它们被存储在一个唯一的rowkey区间中,被称为region,区间的范围被称为Start Key和End Key。对于单调递增的时间类型数据,很容易被散列到同一个Region中转载 2017-04-05 16:12:45 · 1696 阅读 · 0 评论 -
HBase优化之bulkload写入
1、为何要 BulkLoad 导入?传统的 HTableOutputFormat 写 HBase 有什么问题?我们先看下 HBase 的写流程:通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式,在reduce中直接生成put对象写入HBase,该方式在大数据量写入时效率低下(HBase会block写入,频繁进行flush,split,co转载 2017-05-09 10:38:10 · 738 阅读 · 0 评论