Apache Hadoop 2.2.0 HDFS HA + YARN多机部署

本文详细介绍了如何在多台机器上部署Apache Hadoop 2.2.0的HDFS高可用(HA)和YARN。包括HDFS HA的物理架构、配置步骤,如JournalNode与DataNode的整合,以及YARN的部署架构。重点讲解了核心配置文件如hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml和yarn-site.xml的修改,以及启动和停止集群的流程。
摘要由CSDN通过智能技术生成
部署逻辑架构:


HDFS HA部署物理架构

注意
JournalNode使用资源很少,即使在实际的 生产环境中,也是把JournalNode和 DataNode部署在同一台机器上
生产环境中,建议主备NameNode各单独一台机器。



YARN部署架构:





个人实验环境部署图


ubuntu12 32bit
apache hadoop 2.2.0
jdk1.7



准备工作
1.在4台机器都配置hosts;
2.配置NameNode节点可以免密码登录到其余所有节点,只需要单向免密登录即可,无需双向;
免密码登录仅仅在启动、停止集群时使用。
3.安装jdk
4.创建专门的账号,不要用root账号部署、管理hadoop



部署hadoop
第一步:把hadoop安装包解压到每一个节点(可以解压到一个节点,然后完成后续第2步的配置后,再scp拷贝到其余节点)的固定目录下(各节点目录统一),比如/home/yarn/Hadoop/hadoop-2.2.0
第二步:修改配置文件(只需在一个节点上配置,配置好后再用scp分发到其余节点)
配置文件路径:etc/hadoop/
hadoop-env.sh
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值