在工作中经常使用hbase的export功能来导出数据,在此总结几种小技巧:
建议导出的数据先放到hdfs上,再从hdfs上拿下来
之前经常使用如下命令进行数据备份:
hbase org.apache.hadoop.hbase.mapreduce.Export backup_table file:///opt/backup_table
使用单机版做此操作是没有问题的,但是当使用多机版的hbase的时候,如果你的系统中有多个mapreduce的tasktracker。那么数据会被导出到多台机器(每个tasktracker)的local目录。
所以在使用export 命令在进行导出操作时,建议现将数据导出到hdfs中,然后再将数据从hdfs中获取下来:
# 默认不写file://的时候就是导出到hdfs上了
hbase org.apache.hadoop.hbase.mapreduce.Export backup_table /tmp/backup_table
hadoop dfs -get /tmp/backup_table /opt/backup_table
导出时可以限制scanner.batch的大小
如果在hbase中的一个row出现大量的数据,那么导出时会报出ScannerTimeoutException的错误。
这时候需要设置hbase.export.scaaner.batch 这个参数。这样导出时的错误就可以避免了。