2018-3-25[数据迁移]

集群之间的数据迁移

准备工作：

1 新老集群之间的所有阶段胡同 /etc/hosts文件

2 配置当前集群主节点到老集群各个节点的ssh免密登陆

相同版本集群 可以使用

应用场景：

即将新上10太服务器

老集群cdh集群版本过低

经讨论直接在新上服务器上搭建高版本CDH 之后将老集群数据远程迁移到新集群

 

hadoop distcp hdfs://ip1:9000/user/root hdfs://ip2:9000/user/root

不同版本集群可以使用

hadoop distcp http://ip1:50070/user/root hdfs://ip2:9000/user/root

不同版本间数据迁移可能会报错

错误相关是hadoop1x 使用的文件校验是crc32

hadoop2x 使用的文件校验是CRC32C

需要在hadoop2x中的hdfs-site.xml中添加以下配置

<property>

<name>dfs.checksum.type</name>

<value>CRC32</value>

<description>
    when  transfer data from  hadoop 1.x to hadoop 2.x  the data block  checksum  in hadoop 1.x is crc32
      and  hadoop 2.x is crc32c .   transfer data will fail .

</description>

</property>