hadoop组件---hbase--海量数据使用importtsv和Bulk load导入hbase最详细实践

我们本章来探索海量数据使用importtsv和Bulk load导入hbase最详细实践。

我们之前已经尝试了使用kettle把mongodb的数据导入hbase，但是发现速度比较慢。

单机kettle导入hbase，6700万条数据使用了27个小时，4亿多条数据需要的时间就更多了。

情况介绍

HBase本身提供了很多种数据导入的方式，目前常用的有三种常用方式：
1、使用HBase原生Client API
2、使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase
3、使用Bulk Load方式直接生成HFile，分别分发到regionServer中

方式对比

第一第二种方式由于需要频繁的与数据所存储的RegionServer通信，一次性入库大量数据时，可能占用大量Regionserve