hbase集群之间数据迁移_CDH集群hbase数据迁移

一、总体方案

通过网络查找相关资源，现有主要方案有3个。

方案1：

Hadoop层的数据迁移主要用到DistCp(Distributed Copy)， 官方描述是：DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。

主要的命令：

hadoop distcp hdfs://src-hadoop-address:8020/table_name hdfs://dst-hadoop-address:8020/table_name

hadoop distcp -m 2 -i hdfs://192.168.0.36:8020/hbase/data/default/tsdb hdfs://192.168.0.93:8020/hbase/data/default/

-m同时拷贝最大数目 -i忽略失败，因为数据实时同步，会出现找不到表

方案2：

snapshot字面意思即快照， 传统关系型数据库也有快照的概念，HBase中关于快照的概念定义如下：

快照就是一份元信息的合集，允许管理员恢复到表的先前状态，快照不是表的复制而是一个文件名称列表，因而不会复制数据。所以整个过程是比较快的，相当于对表当前元数据状态作一个克隆

主要的命令：

snapshot 'src_table', 'snapshot_src_table'

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \

-snapshot snapshot_src_table \

-copy-from hdfs://src-hbase-root-dir/hbase \

-copy-to hdfs://dst-hbase-root-dir/hbase \

-mappers 20 \

-bandwidth 20

方案3:

Export/Import方式:使用hbase带的工具Export/Import，先将hbase数据按表导出到服务器磁盘中，再将文件上传到目标服务器。在目标服务器建立相同结构的数据库表，然后将hbase数据库表文件导入对应数据库表中。

二、方案选定

方案1和方案2较为方便，只需要几条命令即可完成。而方案3需要按照数据库表导出到本地磁盘，还需要再目标服务器提前建表，再导入数据，较为繁琐