两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。
但是如果两个集群在不同的网络,没法通信呢?
今天测试了一个方案:
把某个表(table1)从集群1迁移到集群2(两个集群互相看不见),步骤如下
1、拷贝集群1的表文件到本地磁盘 :
/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1
2、对于文件操作,很简单吧,随便你怎么去拷贝来拷贝去
3、如果集群2中也有对应的表文件,那么删除掉,然后拷贝
/app/cloud/Hadoop/bin/hadoop fs -rmr /hbase/table1
/app/cloud/Hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1
4、重置该表在.META.表中的分区信息
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1
另外:
1、如果表的数据量过大呢? 那么按照该表在HDFS中的文件夹数据源码天空,分批拷贝。
2、如果两个集群可以互相通信呢?那么更爽了,直接使用distcp对拷,是并行的。