hbase表跨集群迁移
未开启kerberos集群:
hadoop fs -copyToLocal /hbase/data/default/user_feature /data/tocdh516data/user_feature
scp -r user_feature/ root@X.X.X.X:/data/hbase_data
##新集群hbase用户执行
hadoop fs -copyFromLocal /data/hbase_data/user_feature /hbase/data/default
hbase hbck -fixMeta
hbase hbck -fixAssignments
(以上不推荐,建议webhdfs方式,亲测割接PB级集群)
webhdfs方式
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -m 200 /hbase/data/default/bill_fee_1906 webhdfs://X.X.X.X:50070/hbase/data/default
###新集群hdfs用户执行
hadoop fs -chown -R hbase:hbase /hbase/data/default
##新集群hbase用户执行
hbase hbck -fixMeta
hbase hbck -fixAssignments
开启kerberos集群复制,KDC互信不好使,直接关闭接受数据端集群kerberos
Zookeeper
enableSecurity (Enable Kerberos Authentication) : false
zoo.cfg 的Server 高级配置代码段(安全阀)写入skipACL: yes
Enable Server to Serve