Hbase数据导入导出
背景
在生产当中,经常会有不同集群的Hbase数据导入导出,这里整理两份导入导出方案,供大家参考
Import/Export 导出
这种方式非常简洁,利用原生HbaseJar包进行MR的处理,可以通过更改相关参数,进行速度的限制。
Export
注意默认情况下,导出的位置是hdfs。
hbase org.apache.hadoop.hbase.mapreduce.Export
Usage: Export [-D <property=value>]* <tablename> <outputdir> [<versions> [<starttime> [<endtime>]] [^[regex pattern] or [Prefix] to filter]]
Note: -D properties will be applied to the conf used.
For example:
-D mapreduce.output.fileoutputformat.compress=true
-D mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec
-D mapreduce.output.fileoutputformat.compress.type=BLOCK
Additionally, the following SCAN properties can be specified
to control/limit what is exported..
-D hbase.mapreduce.scan.