HBase迁移数据方案(两个集群不能通信)
把某个表(test)从集群1迁移到集群2(两个集群互相看不见),步骤如下:
(其实就是把旧集群上的hbase在hdfs上的存储文件迁移到新集群上)
1.把数据表test从hbase下拷出
hadoop fs -get /hbase/data/default/test /home/
2.文件放到新集群的系统上。
3.文件拷入新的hadoop集群hbase下
hadoop fs -put test /hbase/data/default/test
4.到hbase shell下list,可以看到test表已经存在,但是你scan的时候出现错误:
TABLE
test
1 row(s) in 0.0220 seconds
hbase(main):062:0> scan 'test'
ROW COLUMN+CELL
ERROR: Unknown table test!
错误很容易理解:你只是把表放进内存,但是hbase并不清楚他的结构,也不知道有数据放进去,根据经验,这需要执行一些东西来让hbase与这些数据联系
5.先修复.META.表:
hbase hbck -fixMeta
==注意执行此命令需要hdfs上/hbase下的写权限==
这样scan’.META.’就能发现里面有test的信息,在执行scan,查看。
(网上很多版本说通过一个add_table.rb来实现,但是我的hbase下没有这个,所以尝试其他方式。)
6.如果依然失败(重新分区):
hbase hbck -fixAssignments