hadoop 集群 跨 版本数据迁移

忙着做hadoop 1.x  到 2.x 的数据迁移. 


hadoop 系统提供 了一个 命令  distcp  可以跨版本 迁移数据.  


具体的命令格式:  在新的hadoop 版本上执行 . 

两个集群间的所有的主机hosts 文件里要把对方的集群节点的主机名配置上去. 因为是mapreduce 作业,不然会job 失败. 


在 hadoop 2.x 上执行 .

hadoop  distcp  hftp://hadoop1.x-namenode:50070/xxxx/xxx/xxx*    /path-to-hadoop2.x/xxx/xxx



注意这里用的hftp 协议   ,不是hdfs 协议, hdfs 协议两边不通的.


如果你 hadoop 2.x  是默认安装的 还有个地方需要修改 , 不然会报文件校验 checksum 报错. 无法复制. 

hadoop  1.x  的文件校验用的crc32  

hadoop 2.x  的文件校验用的CRC32C  两个版本的hadoop 的校验方法不同,会报错.无法迁移数据. 


在hadoop  2.x  hdfs-site.xml 里增加 一个配置. 


<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
<description>
    when  transfer data from  hadoop 1.x to hadoop 2.x  the data block  checksum  in hadoop 1.x is crc32
      and  hadoop 2.x is crc32c .   transfer data will fail .
</description>
</property>

然后就ok 了.  

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/133735/viewspace-2036119/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/133735/viewspace-2036119/