集群hadoop升级

nn1为active，nn2为standby

 

首先下载2.6.3的hadoop源码进行编译，形成hadoop-2.6.3.tar.gz

 

安装新版本的hadoop，从log-server上分发新版的hadoop并解压

         cd /letv/setupHadoop

         ./upgrade.sh distribute cluster_nodes hadoop-2.6.3.tar.gz/letv/usr/local

         ./upgrade.sh  common cluster_nodes"cd /letv/usr/local;tar -xzvf hadoop-2.6.3.tar.gz"

 

将新版hadoop  /etc/hadoop下的所有文件替换为原版hadoop的相同文件夹下的配置文件。

 

       ./upgrade .sh common couster_nodes "cd/letv/usr/local/hadoop-2.6.3/etc;rm -rf hadoop;cp -r /usr/local/hadoop/etc/hadoop/letv/usr/local/hadoop-2.6.3/etc "

      

 

一、 Prepare Rolling Upgrade

1、以hadoop用户登录nn2执行

          "hdfs dfsadmin -rollingUpgrade prepare"

 

2、nn2上执行 

         "hdfs dfsadmin -rollingUpgrade query"

 

     等待，直到出现  "Proceed with rollingupgrade"如果不出现，重复执行该命令

 

3、完成操作后，在namenode的50070端口页面最上端上会出现相应提示信息，表示rollback文件生成。

   同时可以查看nn1和nn2 /data/hadoop/data1/dfs/name/current 文件夹下，会生成rollbackfsimage文件。

 

二、 Upgrade Active and Standby NameNodesand ZKFC

1、关闭standby的namenode即nn2和其上的ZKFC。

          hadoop-daemon.sh stop namenode      

          hadoop-daemon.sh stop zkfc

 

2、以rollingUpgrade的方式启动nn2

        切换到root用户

 

        建立新hadoop的软链

           cd /usr/local

           rm -rf hadoop

           ln -s /letv/usr/local/hadoop-2.6.3 hadoop

           chown - R hadoop:hadoop hadoop

      

       重新启动namenode和zkfc

         hadoop-daemon.sh start namenode -rollingUpgrade started

         hadoop-daemon.sh start zkfc

  

    启动完成后nn2为standby状态

 

2、切换nn1和nn2使得nn1为standby(nn2上操作)，nn2为active。

        hdfs haadmin -failover testnn1 testnn2

 

3、在nn1上重复步骤1和2

 

4、切换nn1和nn2恢复原来的状态

      hdfs haadmin -failover testnn2 testnn1

 

 

三、Upgrade Journalnode

     journalnode更新需要一台一台操作，不可以批量执行操作，否则容易导致集群挂掉。

 

1、登录一台journalnode(新集群resourcemanager和journalnode启动在了一台机子上，所以先从standby的resourcemanager入手，然后是active的resourcemanager，其次顺序任意)

       ssh sdf-resourcemanager2

 

2、停止journalnode服务

       hadoop-daemon.sh stop journalnode

     停止resourcemanager服务(这里是rm2所以会执行这一步，如果接下来的journalnode上不存在rm进程则不需要执行)

          

3、安装新版本hadoop

      

        切换到root用户

 

        然后建立新hadoop的软链

           cd /usr/local

           rm -rf hadoop

           ln -s /letv/usr/local/hadoop-2.6.3 hadoop

           chown - R hadoop:hadoop hadoop

 

4、启动新版的journalnode

       hadoop-daemon.sh start journalnode。

       yarn-daemon.sh start resourcemanager。(有resourcemanager进程则执行，否则不做)

 

5、每台journalnode执行1-4操作，没有resourcemanager进程的机子不做rm的停止和启动的操作。

  

   注意，一定要等一台journalnode完全启动后，才可以执行下一个journalnode的升级操作。可以查看日志，也可以查看/data/hadoop/data2/journal_node/test-cluster/current下的edit文件，

   看重启journalnode服务的这台服务器是否和其它journalnode节点上相同文件夹的的edit文件同步。同步后，方可继续，否则一定不要开始下一个journalnode的升级操作。

 

四、Upgrade DataNodes and Nodemanager

1、选择任意一个datanode（集群可以按机架来批量执行），执行

    hdfs dfsadmin -shutdownDatanode DATANODE_HOTS:50020 upgrade

    yarn-daemon.sh stop nodemanager //也可以先批量设置成unhealth状态，减少停止nodemanger的影响。或者和datanode不在同一批次停止，改变/usr/local/hadoop的连接也没有影响。

     完后datanode和nodemanager进程关闭。

  

2、安装新版本hadoop

      

        切换到root用户

 

        然后建立新hadoop的软链

           cd /usr/local

           rm -rf hadoop

           ln -s /letv/usr/local/hadoop-2.6.3 hadoop

           chown - R hadoop:hadoop hadoop

 

3、启动datanode和nodemanager

      hadoop-daemon.sh start datanode

      yarn-daemon.sh start nodemanager

 

4、所有datanode和nodemanager节点执行步骤1、2和3

 

 

五、

    确定升级完成后，nn1和nn2上执行 hdfs dfsadmin -rollingUpgrade finalize来结束升级操作。Namenode的50070端口页面的提示信息消失。

    此步骤不可逆，一旦执行，rollbackfsimage文件变为普通的fsimage文件，集群不可再回到升级前的状态