HDP2.3.2升级到HDP2.3.4

HDP2.3.2升级到HDP2.3.4

先介绍下，本集群 BigData 现在的环境是ambari2.1.2，hdp2.3.2，目标是不升级ambari，而升级HDP。本集群有三台机器：master、slave1、slave2,都是运行在centos6.7下的。本文是根据官方文档 HDP2.3.2版本下的Ambari Upgrade Guide 而写的.
之所以写本文，一方面是想把自己的经验分享给大家，另一方面也是有问题请教大家。因为升级到最后，集群中的一台机器slave1总是处在 upgrading状态，而集群中的master 和slave2 却升级成功，显示 upgraded状态。

提示：通过ambari集群管理的HDP的升级一定要参考Ambari Upgrade Guide ，而不是Non-Ambari Cluster Upgrade Guide.

1版本对应

1.1 HDP-Ambari-Spark版本对应

1.2 HDP2.3.4 的组件版本

Apache–	versions for–	HDP 2.3.4
Apache Accumulo 1.7.0	Apache Atlas 0.5.0	Apache Calcite 1.2.0
Apache DataFu 1.3.0	Apache Falcon 0.6.1	Apache Flume 1.5.2
Apache Hadoop 2.7.1	Apache HBase 1.1.2	Apache Hive 1.2.1
Apache Kafka 0.9.0	Apache Knox 0.6.0	Apache Mahout 0.9.0+
Apache Oozie 4.2.0	Apache Phoenix 4.4.0	Apache Pig 0.15.0
Apache Ranger 0.5.0	Apache Slider 0.80.0	Apache Solr 5.2.1
Apache Spark 1.5.2	Apache Sqoop 1.4.6	Apache Storm 0.10.0
Apache Tez 0.7.0	Apache ZooKeeper 3.4.6	Additional component
Cascading 3.0.1	Hue 2.6.1

1.3 spark1.5.2在hdp运行条件

因为主要是想用spark1.5，所以才升级hdp的。

运行Spark 1.5.2的前提条件： HDP版本在2.3.4及以上。

注意：HDP升级到2.3.4以后，spark自动升级到了1.5.2 。
先升级ambari到2.2，再升级HDP到2.3.4，也可以直接用amabri2.1，升级hdp到2.3.4。这几种方法我都试过，但是升级ambari过程中，在进行这步——Ambari Server database schema 时，执行了语句ambari-server upgrade 就会出错，关于升级ambari的文档，以后有空了再写。

2准备

注意：
1. 确保集群操作是健壮的，即各项服务是可以正常启动、停止的。
2. 如果是升级到minor version(如hdp2.2->2.3,而非2.3.2->2.3.4)，升级hdp集群前，先把ambari升级到对应的版本。强烈建议升级HDP前，先升级ambari。见图1-1。本文档没有升级amabri。
3. 确保所有服务处在running状态；
4. 服务检查，对service action菜单里的选项试试，确保他们能够正常执行；
5. 清除所有警告；
6. 时间服务启动、停止；
7. 下载必要的包，见表2-1，使用本地库的话，见说明；
8. 如果你是在升级 到Ambari 2.2, 在performing any Stack upgrade之前，必须确保Ranger db root password是非空的。给Ranger db root设置一个密码，然后在Ambari Web 上设置Ranger db root password设为这个值. 然后，在Ambari Web重启Ranger Admin。
9. 备份数据库，ambari，Hive metastore, ranger 和oozie。
10. 确保/usr/hdp/下有>2.5G空间；
11. 提前下载好软件包. 设好本地库。
12. 确保时间点数据库备份，包括Ambari, Hive Metastore, Ranger and Oozie等。

2.1 检查service action 的start 、stop、run service check

2.2启动所有服务并清除警告

2.3 保证没有maintenance状态的服务

2.4 时间服务ntpd启动、停止

在三台机器上，都执行：

service ntpd status
service ntpd stop
service ntpd start

2.5备份数据库

[root@master ~]#mysqldump -uroot -p --all-databases > /root/backupforhdp/all20160117.sql

2.6本地库配置

2.6.1 下载需要的包

提前下好HDP-2.3.4.0-centos6-rpm.tar.gz 和HDP-UTILS-1.1.0.20-centos6.tar.gz。

所有库的最新有效地址 ，是在网页上的。下载后的pdf里的地址不能下载。

版本	HDP2.3.4.0	url
库名	Format	URL
HDP	Repo File	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.4.0/hdp.repo
	Tarball	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.4.0/HDP-2.3.4.0-centos6-rpm.