Hadoop如何升级版本_Hadoop1.x升级到2.x

对于Hadoop的hdfs来说,升级时直接把低版本的数据拷到高版本的hdfs上就行。

具体步骤:

1. hadoop  fs  -copyToLocal  [低版本的数据目录],防止数据丢失。

2. 对hdfs-site.xml里面的dfs.name.dir和dfs.data.dir的路径指定的元数据进行备份,防止丢失。 

3. stop正在运行的集群后,需要修改环境变量/etc/profile文件,因为Hadoop1.x和Hadoop2.x的环境变量有一处不一样,就是conf目录的路径,如下所示:

hadoop1.x的路径

 export HADOOP_CONF_DIR=$HADOOP_HOME/conf 

hadoop2.x的路径

 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

之后记得把该主机的profile文件分发到各个节点!!

4,安装Hadoop高版本,进入etc/hadoop中配置core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml的属性,和1.x一样。

(1)注意在hdfs-site.xml里面的namenode的dir和datanode.dir指向原来hadoop1.x的元数据地址。

(2)一切配置完毕后,用scp进行分发,每个节点上发一个

(3)不要格式化启动集群,查看namenode.log,发现如下提示(截取了一部分错误):

File system image contains an old layout version -41.

An upgrade to version -47 is required.

Please restart NameNode with -upgrade option.

(4)stop新安装的Hadoop,进行如下升级操作:

sbin/hadoop-daemon.sh start namenode -upgrade

然后查看,hadoop-namenode.log发现没有原来的的异常,就代表升级成功。此时如果升级失败,清空新安装Hadoop的集群元数据,格式化namenode,重启新安装Hadoop的集群,直接把之前的备份数据,上传到新安装Hadoop的集群即可。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值