hadoop高可用安装

hadoop高可用安装（一）准备前期工作和理解

一、 理解hadoop2.x

Hadoop 2.x由**HDFS、MapReduce和YARN**三个分支构成；
HDFS：NN Federation（联邦）、HA；
2.X:只支持2个节点HA，3.0实现了一主多从
MapReduce：运行在YARN上的MR；
离线计算，基于磁盘I/O计算
YARN：资源管理系统

一、 理解hadoop2.0HA的框架

1.namenode：存储文件的元数据(文件名、文件目录结构、文件属性等等)
2.datanode:在本地文件系统存储文件块数据，以及块数据的校验
3.secondarynode:用来监控HDFS状态的辅助后台程序，每隔一段时间获取元数据的快照
4.journalnode:用于手动切换namenode
5.zookeep：管理所有

对上图的解释：四的datanode向两个namenode汇报数据。当其中一个active namenode‘挂了’后，两台namenode向journalnode汇报信息。然后zkfc（图中蓝色部分）接受信息，汇报给zookeeper。zookeeper采用相应的算法来吧原来standby的namenode变成active的。再将原来active的变为standby。

之后会根据这张图来配置HA请记住它。

**

二、准备安装软件

**
jdk1.7.0
链接：https://pan.baidu.com/s/1b5g6l-rrMO9-g6dZRQ0LiA
提取码：7h89

zookeeper
链接：https://pan.baidu.com/s/1vsbq1Drxw2D3XxWoO8OovA
提取码：mby0

xshell
链接：https://pan.baidu.com/s/1OVYNi1uh9r6k_qZQK-fYuw
提取码：yc1s

xftp
链接：https://pan.baidu.com/s/1nob5Q8elPMtT3SoFLNtKDA
提取码：g4l4