Hbase 数据迁移（一）

Hbase的数据迁移方式

1.使用Export/Import

格式：hbase org.apache.hadoop.hbase.mapreduce.Export table /user/table [versions] [starttime] [stoptime]
          hbase org.apache.hadoop.hbase.mapreduce.Import table  /user/table

2.使用coytable

格式：hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=zookeeper1,zookeeper2,zookeeper3:/hbase 'table'

3.直接拷贝hdfs文件

然后使用自己生成元数据

分析一下Export/Import方式：

Export操作会根据region数量产生对应数量的Map，没有Reduce阶段，直接导出SequenceFile的格式

Import操作有个选项是否生成HFile方式，如不开启则只有Map阶段，读取SequenceFile文件，由于文件可切分，会有一堆map task,然后调用BufferedMutator.mutate异步写入到hbase。

若使用HFile，则Map阶段仅仅是把数据转成KeyValue的格式,输出(rowkey,keyvalue)，Reduce阶段使用KVComparator对keyvalue排序，然后输出有序的(rowkey,keyvalue)，输出使用HFileOutputFormat2的RecordWriter，它调用StoreFile.Writer-->HFileWriterV2-->HFileBlock-->write使用DataOutputStream写入编码后的数据到HDFS