1、迁移之前需要把两个集群的所有节点都互通/etc/hosts文件(重要,包括各个数据节点)
2、配置当前集群主节点到老集群各个节点的ssh免密登陆
3、由于老集群是HDP2.7.1,新集群是cdh5.8.5,版本不同,不能用hdfs协议直接拷贝,需要用http协议
即不能用:distcp hdfs://src:50070/foo /user**
而要用:distcp hftp://src:50070/foo /user**
最终的命令为:
hadoop distcp hftp://192.168.57.73:50070/hive3/20171008 /hive3/
4、如果两个集群的版本相同,则可以使用hdfs协议,命令如下:
hadoop distcp hdfs://namenodeip:9000/foo hdfs://namenodeip:9000/foo
5、由于迁移数据运行了mr任务,对集群资源有一定的消耗
2、配置当前集群主节点到老集群各个节点的ssh免密登陆
3、由于老集群是HDP2.7.1,新集群是cdh5.8.5,版本不同,不能用hdfs协议直接拷贝,需要用http协议
即不能用:distcp hdfs://src:50070/foo /user**
而要用:distcp hftp://src:50070/foo /user**
最终的命令为:
hadoop distcp hftp://192.168.57.73:50070/hive3/20171008 /hive3/
4、如果两个集群的版本相同,则可以使用hdfs协议,命令如下:
hadoop distcp hdfs://namenodeip:9000/foo hdfs://namenodeip:9000/foo
5、由于迁移数据运行了mr任务,对集群资源有一定的消耗