1 概述
本文档用于没有配置高可用的HDFS集群版本升级执行的详细步骤说明,版本由2.7.3升级到2.9.0。
2 前提条件
假设已有安装配置好整合了Kerberos的HDFS集群和YARN,本文使用5台服务器,角色分别为:
hadoop0:NameNode、SecondaryNameNode、ResourceManager
hadoop1:DataNode、NodeManager
hadoop2:DataNode、NodeManager
hadoop3:DataNode、NodeManager
kerberos:Kerberos
3 升级执行步骤
3.1 备份
在升级前最好做好数据和配置文件的备份,以免升级失败需要回滚。 [非重点,这里省略具体步骤]
3.2 部署新版本
[分别在HDFS集群的所有服务器上执行,本文是hadoop0/1/2/3]
上传hadoop-2.9.0.tar.gz到/bigdata/目录,执行以下命令解压和创建日志目录:
修改所有配置文件里面定义的路径指向新版本的路径,例如是hadoop-env.sh的HADOOP_PREFIX=/bigdata/hadoop-2.9.0
3.3 停止HDFS集群
因为集群没有配置高可用,所以升级版本必须要先停止旧版本的集群。
本文档用于没有配置高可用的HDFS集群版本升级执行的详细步骤说明,版本由2.7.3升级到2.9.0。
2 前提条件
假设已有安装配置好整合了Kerberos的HDFS集群和YARN,本文使用5台服务器,角色分别为:
hadoop0:NameNode、SecondaryNameNode、ResourceManager
hadoop1:DataNode、NodeManager
hadoop2:DataNode、NodeManager
hadoop3:DataNode、NodeManager
kerberos:Kerberos
3 升级执行步骤
3.1 备份
在升级前最好做好数据和配置文件的备份,以免升级失败需要回滚。 [非重点,这里省略具体步骤]
3.2 部署新版本
[分别在HDFS集群的所有服务器上执行,本文是hadoop0/1/2/3]
上传hadoop-2.9.0.tar.gz到/bigdata/目录,执行以下命令解压和创建日志目录:
# cd /bigdata/
# tar -zxvf /bigdata/hadoop-2.9.0.tar.gz
# chown -R hdfs:hadoop /bigdata/hadoop-2.9.0
$ su hdfs
$ mkdir /bigdata/hadoop-2.9.0/logs
$ chmod 775 /bigdata/hadoop-2.9.0/logs
把旧的配置文件(*.sh和*.xml)替换到新版本的配置目录/bigdata/hadoop-2.9.0/etc/hadoop/,本文替换了9个文件,如下图:
修改所有配置文件里面定义的路径指向新版本的路径,例如是hadoop-env.sh的HADOOP_PREFIX=/bigdata/hadoop-2.9.0
3.3 停止HDFS集群
因为集群没有配置高可用,所以升级版本必须要先停止旧版本的集群。
# su hdfs
$ cd /bigdata/hadoop-2.7.3
$ sbin/stop-dfs.sh
3.4 复制数据文件