Hadoop2.4.1集群搭建

本文搭建Hadoop2.4.1分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。  一概述（一）HDFS 1）基础架构 （1）NameNode（Master） 命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 块存储管理 （2）DataNode（Slaver） namenode和client的指令进行存储或者检索block，并且周期性的向namenode节点报告它存了哪些文件的block 2）HA架构 使用Active NameNode，Standby NameNode 两个结点解决单点问题，两个结点通过JounalNode共享状态，通过ZKFC 选举Active ，监控状态，自动备援。 （1）Active NameNode： 接受client的RPC请求并处理，同时写自己的Editlog和共享存储上的Editlog，接收DataNode的Block report, block location updates和heartbeat； （2）Standby NameNode：       同样会接到来自DataNode的Block report, block location updates和heartbeat，同时会从共享存储的Editlog上读取并执行这些log操作，使得自己的NameNode中的元数据（Namespcae information + Block locations map）都是和Active NameNode中的元数据是同步的。所以说Standby模式的NameNode是一个热备（Hot Standby NameNode），一旦切换成Active模式，马上就可以提供NameNode服务 （3）JounalNode： 用于Active NameNode ， Standby NameNode 同步数据，本身由一组JounnalNode结点组成，该组结点基数个，支持Paxos协议，保证高可用，是CDH5唯一支持的共享方式（相对于CDH4 促在NFS共享方式） （4）ZKFC： 监控NameNode进程，自动备援。 （二）YARN 1）基础架构 （1）ResourceManager(RM) 接收客户端任务请求，接收和监控NodeManager(NM)的资源情况汇报，负责资源的分配与调度，启动和监控ApplicationMaster(AM)。 （2）NodeManager 节点上的资源管理，启动Container运行task计算，上报资源、container情况给RM和任务处理情况给AM。 （3）ApplicationMaster 单个Application(Job)的task管理和调度，向RM进行资源的申请，向NM发出launch Container指令，接收NM的task处理状态信息。NodeManager （4）Web Application Proxy 用于防止Yarn遭受Web攻击，本身是ResourceManager的一部分，可通过配置独立进程。ResourceManager Web的访问基于守信用户，当Application Master运行于一个非受信用户，其提供给ResourceManager的可能是非受信连接，Web Application Proxy可以阻止这种连接提供给RM。 （5）Job History Server NodeManager在启动的时候会初始化LogAggregationService服务, 该服务会在把本机执行的container log (在container结束的时候)收集并存放到hdfs指定的目录下. ApplicationMaster会把jobhistory信息写到hdfs的jobhistory临时目录下, 并在结束的时候把jobhisoty移动到最终目录, 这样就同时支持了job的recovery.History会启动web和RPC服务, 用户可以通过网页或RPC方式获取作业的信息 2）HA架构       ResourceManager HA 由一对Active，Standby结点构成，通过RMStateStore存储内部数据和主要应用的数据及标记。目前支持的可替代的RMStateStore实现有：基于内存的MemoryRMStateStore，基于文件系统的FileSystemRMStateStore，及基于zookeeper的ZKRMStateStore。 ResourceManager HA的架构模式同NameNode HA的架构模式基本一致，数据共享由RMStateStore，而ZKFC成为 ResourceManager进程的一个服务，非独立存在。 二 规划 （一）版本 组件名 版本 说明 JDK jdk1.7.0_71 Hadoop hadoop-2.4.1.tar.gz 主程序包 Zookeeper  zookeeper-3.4.5.tar.gz 热切,Yarn 存储数据使用的协调服务 （二）主机规划 IP Host 部署模块 进程 192.168.102 drh02 NameNode ResourceManager DataNode NodeManager Zookeeper NameNode DFSZKFailoverController ResourceManager DataNode NodeManager JournalNode QuorumPeerMain 192.168.103 drh03 NameNode ResourceManager DataNode NodeManager Zookeeper NameNode DFSZKFailoverController ResourceManager DataNode NodeManager JournalNode QuorumPeerMain 192.168.104 drh04 DataNode NodeManager Zookeeper DataNode NodeManager JournalNode QuorumPeerMain  因本人条件（在虚拟机中搭建）使用最少机器的方案 下面列举几个其他的： IP Host 部署模块 进程 8.8.8.11 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController ResourceManager 8.8.8.13 Hadoop-NN-02 NameNode ResourceManager NameNode DFSZKFailoverController ResourceManager 8.8.8.13 Hadoop-DN-01 Zookeeper-01 DataNode NodeManager Zookeeper DataNode NodeManager JournalNode