hadoop集群直接数据拷贝

需求：

两个hadoop集群直接进行数据的拷贝。

思路：

基于org.apache.hadoop.tools.DistCp，hadoop的命令行distcp就是才操作的封装

实现：

版本相同的做法：

hadoop distcp ${fs.default.name1}/user/hadoop/text ${fs.default.name2}/user/hadoop/text

 ${fs.default.name1}为hadoop的core-site.xml中对应的值：

<property>
	<name>fs.default.name</name>
	<value>hdfs://cluster1:29000</value>
</property>

完成命令如下：

hadoop distcp hdfs://cluster1:29000/user/hadoop/text hdfs://cluster2:29000/user/hadoop/text

也就是把cluster1的/user/hadoop/text拷贝到cluster2，如果路径不存在的话那么就创建

 

版本不同的做法待补充