hadoop1.0到2.0的升级（非跨版本）

注： 升级步骤不涉及HA和federation。如何在Hadoop2.0上部署HA和federation，可以查看另外两篇文章。这是1.0升级2.0的简单升级配置步骤。实践了一下，挺顺利的，HDFS1.0平稳升级2.0，不存在任何不兼容的问题，而且数据没有任何丢失。并且由升级回滚机制，如果升级失败可以确保回滚到之前的环境，很大地提升了稳定性。MR升级中的兼容性问题，下面有简单的概括，具体还要后续使用了才能更明确。而且本文介绍的升级是非跨版本的升级，直接从hadoop 0.20.2到hadoop 2.2.0，如果要从cdh到社区的2版本等升级方式略有不同，仅供参考。

HDFS升级

1) 首先，停止正在运行的hadoop. Bin/stop-all.sh

2) 备份HDFS的元数据和配置信息。也就是<dfs.name.dir>目录下的文件，和conf目录下的文件。

3) 下载Hadoop 2.2.0，解压到与1.0版本同级目录下；

4) 用1.0的conf下的配置文件覆盖2.0/etc/hadoop/下的配置文件。包括： core-site.xml, hdfs-site.xml和mapred-site.xml

5) 修改hadoop2.0的etc/hadoop下的配置文件：

Core-site.xml中添加：

		<property>
		  <name>io.native.lib.available</name>
		  <value>true</value>
		 </property>

这是配置hadoop的native lib本地库，从本地加载库能提升作业执行的效率。

mapred-site.xml中添加：

		<property>
		  <name>mapreduce.framework.name</name>
		  <value>yarn</value>
		 </property>

Hadoop-env.sh中添加JAVA_HOME变量配置；

Yarn.xml中添加：

		<property> 
		  <name>yarn.resourcemanager.address</name> 
		  <value>master ip:8080</value> 
		 </property>
		 
		 <property> 
		  <name>yarn.resourcemanager.scheduler.address</name> 
		  <value>master ip:8081</value> 
		 </property> 
		
		 <property> 
		  <name>yarn.resourcemanager.resource-tracker.address</name> 
		  <value><span style="font-family: 'Microsoft YaHei';">master ip</span><span style="font-family: 'Microsoft YaHei';">:8082</value> </span>
		 </property> 
		
		 <property> 
		  <name>yarn.nodemanager.aux-services</name> 
		  <value>mapreduce_shuffle</value> 
		 </property> 
		
		 <property> 
		  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
		  <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
		 </property>

这些是升级2.0需要配置的变量，其他变量可以沿用1.0中的配置。

6) 执行升级命令： sbin/start-dfs.sh –upgrade

检查升级是否完成： 首先查看logs下的日志记录，然后在dfs.data.dir目录下查看，产生了一个previous文件夹，里面包含原有的元数据信息。表示升级完成。

7) 提交升级： bin/hdfs dfsadmin –finalizeUpgrade 。然后在文件系统中查看文件和块等的完整性。

MapReduce升级

mapreduce不需要做升级，直接在hadoop2.0的安装目录下配置新的MapReduce的参数，然后启动MapReduce 2.0就可以。

1) 上面的配置信息中，已经把MapReduce相关的都配置完了。

2) Sbin/yarn-daemon.sh start resourcemanager

3) Sbin/yarn-daemon.sh start nodemanager

4) 检验启动是否成功： localhost:50070检验HDFS， localhost:8088检验yarn。