HBase迁移数据方案(两个集群不能通信)

两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。

但是如果两个集群在不同的网络,没法通信呢?

今天测试了一个方案:

把某个表(table1)从集群1迁移到集群2(两个集群互相看不见),步骤如下

1、拷贝集群1的表文件到本地磁盘 :

/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1 

2、对于文件操作,很简单吧,随便你怎么去拷贝来拷贝去

3、如果集群2中也有对应的表文件,那么删除掉,然后拷贝

/app/cloud/Hadoop/bin/hadoop fs -rmr /hbase/table1  
/app/cloud/Hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1 
4、重置该表在.META.表中的分区信息

bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1 
另外:

1、如果表的数据量过大呢? 那么按照该表在HDFS中的文件夹数据源码天空,分批拷贝。

2、如果两个集群可以互相通信呢?那么更爽了,直接使用distcp对拷,是并行的。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值