1.不同版本间集群是否可以迁移?
2.distcp命令的作用是什么?
3..MEAT表的作用是什么?
4.相互不通信集群,数据该如何迁移?
HBase迁移数据方案一(集群互联)
花了一天的时间查资料做测试,略微的总结了一下hbase数据迁移的方法。
一、需要在hbase集群停掉的情况下迁移
步骤:
(1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"
(2)在new cluster执行./hbase org.jruby.Main add_table.rb /hbase/table20111222,将拷贝来的表加入到.MEAT.中(会出现region的数目不一致的问题,这个需要重启hase才能解决)
说明:(1)filelist为hdfs上的列表文件,内容如下:
/hbase/table20111222
/hbase/table20120131
(2)如果两个集群的hadoop版本不一致,需要在new cluster上执行hadoop distcp,否则会出现读写异常;
二、在集群运行的时候进行数据迁移
1、Replication:
这个是动态的备份(可以理解为实时备份)
步骤:
(1)在old cluster将需要迁移的表属性进行修改:
disable 'your_table'
alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}
enable 'your_table'
(2)打开new cluster集群的replication,修改hbase-site.xml
hbase.replication
true
(3)添加peer,在new cluster的hbase shell中执行:add_peer '1','old cluster ip:2181:/hbase',启动replication,执行start_replication
说明:需要两个集群的hadoop版本一致,否则出现读写错误
2、CopyTable:
可以在本集群中拷贝一张表,也可以将表拷贝到其他的集群中。
命令:./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test
说明:(1)拷贝完成,不需要重启机器,在new cluster中就可以看到该表;
(2)稳定性还需要考虑,测试过程中遇到一个问题,拷贝过程中始终都停留在这里Lookedup root region location, 查看日志没有什么错误和相关的信息。
3、Export and Import
步骤:
(1)在old cluster上执行:./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test
(2)在new cluster上执行:./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test
说明:
(1)一定要写全路径,不能写相对路劲;
(2)在import前,需要将表事先在new cluster中创建好.
以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。
HBase迁移数据方案二(两个集群不能通信)
两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。
但是如果两个集群在不同的网络,没法通信呢?
今天测试了一个方案:
把某个表(table1)从集群1迁移到集群2(两个集群互相看不见),步骤如下
1、拷贝集群1的表文件到本地磁盘 :
/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1
2、对于文件操作,很简单吧,随便你怎么去拷贝来拷贝去
3、如果集群2中也有对应的表文件,那么删除掉,然后拷贝
/app/cloud/hadoop/bin/hadoop fs -rm -r /hbase/table1
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1 (该步骤一定要使用对应的账户:sudo -u hbase hdfs dfs -copyFromLocal XXXX)
4、重置该表在.META.表中的分区信息(.META.表一般为“hbase:metadata")
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1
《《《《备注:
如果第四步找不到add_table.rb文件,可以采用最根本的方式来修复元数据:
hbase hbck 只做检查
hbase hbck -fixMeta 根据region目录中的.regioninfo,生成meta表
hbase hbck -fixAssignments 把meta表中记录的region分配给regionserver
hbase hbck -fixHdfsOrphans 修复.regioninfo文件
hbase hbck -repair 表名
》》》》
另外:
1、如果表的数据量过大呢?
那么按照该表在HDFS中的文件夹数据,分批拷贝。
2、如果两个集群可以互相通信呢?
采用第一种方案即可
3、关联hbase中已经存在的表
CREATE EXTERNAL TABLE if not exists notebook(
row string,
nl string,
ct string,
nbn string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES('hbase.columns.mapping' = ':key,nbi:nl,nbi:ct,nbi:nbn')
TBLPROPERTIES('hbase.table.name' = 'nb');