hadoop高可用安装(一)准备前期工作和理解
一、 理解hadoop2.x
Hadoop 2.x由**HDFS、MapReduce和YARN**三个分支构成;
HDFS:NN Federation(联邦)、HA;
2.X:只支持2个节点HA,3.0实现了一主多从
MapReduce:运行在YARN上的MR;
离线计算,基于磁盘I/O计算
YARN:资源管理系统
一、 理解hadoop2.0HA的框架
1.namenode:存储文件的元数据(文件名、文件目录结构、文件属性等等)
2.datanode:在本地文件系统存储文件块数据,以及块数据的校验
3.secondarynode:用来监控HDFS状态的辅助后台程序,每隔一段时间获取元数据的快照
4.journalnode:用于手动切换namenode
5.zookeep:管理所有
对上图的解释:四的datanode向两个namenode汇报数据。当其中一个active namenode‘挂了’后,两台namenode向journalnode汇报信息。然后zkfc(图中蓝色部分)接受信息,汇报给zookeeper。zookeeper采用相应的算法来吧原来standby的namenode变成active的。再将原来active的变为standby。
之后会根据这张图来配置HA请记住它。
**
二、准备安装软件
**
jdk1.7.0
链接:https://pan.baidu.com/s/1b5g6l-rrMO9-g6dZRQ0LiA
提取码:7h89
zookeeper
链接:https://pan.baidu.com/s/1vsbq1Drxw2D3XxWoO8OovA
提取码:mby0
xshell
链接:https://pan.baidu.com/s/1OVYNi1uh9r6k_qZQK-fYuw
提取码:yc1s
xftp
链接:https://pan.baidu.com/s/1nob5Q8elPMtT3SoFLNtKDA
提取码:g4l4