跨集群拷贝hbase表

一、需要在hbase集群停掉的情况下迁移

步骤：(1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"

(2)在new cluster执行./hbase org.jruby.Main add_table.rb /hbase/table20111222，将拷贝来的表加入到.MEAT.中（会出现region的数目不一致的问题，这个需要重启hase才能解决）

说明：(1)filelist为hdfs上的列表文件，内容如下：

/hbase/table20111222

/hbase/table20120131

(2)如果两个集群的hadoop版本不一致，需要在new cluster上执行hadoop distcp，否则会出现读写异常；

二、在集群运行的时候进行数据迁移

1、Replication：这个是动态的备份（可以理解为实时备份）

步骤：(1)在old cluster将需要迁移的表属性进行修改：

disable 'your_table'

alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}

enable 'your_table'

(2)打开new cluster集群的replication，修改hbase-site.xml

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

(3)添加peer，在new cluster的hbase shell中执行：add_peer '1','old cluster ip:2181:/hbase'，启动replication，执行start_replication

说明：需要两个集群的hadoop版本一致，否则出现读写错误

2、CopyTable：可以在本集群中拷贝一张表，也可以将表拷贝到其他的集群中。

命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test

说明：(1)拷贝完成，不需要重启机器，在new cluster中就可以看到该表;

(2)稳定性还需要考虑，测试过程中遇到一个问题，拷贝过程中始终都停留在这里Lookedup root region location, 查看日志没有什么错误和相关的信息。

3、Export and Import

步骤：(1)在old cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test

(2)在new cluster上执行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test

说明：(1)一定要写全路径，不能写相对路劲;

(2)在import前，需要将表事先在new cluster中创建好.

以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。

如果两个集群无法通联，可以先将原表导到本地，然后再传到另一个集群，具体操作如下:

目的:从10.102.2.246上把Hbase里面数据备份到10.101.159.62的Hbase里面，并且这两台机器之间无法通信，因此采用最笨的办法解决问题。

步骤：

1、从246上把Hbase里面数据先拷贝到该节点的一个目录，拷贝到/oracle/hpdata/hbase-data.bak。我们知道由于配置文件hbase-site.xml里面写的hbase数据存放地方是
hdfs://localhost:9000/hbase,

因此需要需要利用命令把数据hdfs上面Hbase的数据拷贝到/oracle/hpdata/hbase-data.bak。命令如下：

./hdfs dfs -get /hbase/data/default/table1/oracle/hpdata/hbase-data.bak

把表table1拷贝到/oracle/hpdata/hbase-data.bak目录。

2、利用SecureCRT把table1拷贝到到本地目录:E:\\user11

3、再次利用SecureCRT把E:\\user11目录下的table1上传到10.101.159.62的/oracle/hpdata/hbase-data.bak目录下。

4、上传62的table1到hdfs的/hbase/data/default目录。利用命令

./hdfs dfs -put /oracle/hpdata/hbase-data.bak/table1/hbase/data/default

5、到这里62上你利用hbaseshell查看是否有表肯定还是看不见的，还需要一步，就是修改Hbase的.meta表信息。在62上利用命令：

1）bin/hbase hbck fixMeta( 重新修复hbasemeta表)

2） hbasehbck -fixAssignments （ 重新将hbasemeta表分给regionserver ）

6、进入62的hbaseshell，此时利用list命令，你应该可以看到从246上Hbase拷贝过来的表了。然后也可以利用count进行核查数据是否存在。