部署逻辑架构:
HDFS HA部署物理架构
注意:
JournalNode使用资源很少,即使在实际的
生产环境中,也是把JournalNode和
DataNode部署在同一台机器上;
生产环境中,建议主备NameNode各单独一台机器。
YARN部署架构:
个人实验环境部署图:
ubuntu12 32bit
apache hadoop 2.2.0
jdk1.7
准备工作:
1.在4台机器都配置hosts;
2.配置NameNode节点可以免密码登录到其余所有节点,只需要单向免密登录即可,无需双向;
免密码登录仅仅在启动、停止集群时使用。
3.安装jdk
4.创建专门的账号,不要用root账号部署、管理hadoop
部署hadoop:
第一步:把hadoop安装包解压到每一个节点(可以解压到一个节点,然后完成后续第2步的配置后,再scp拷贝到其余节点)的固定目录下(各节点目录统一),比如/home/yarn/Hadoop/hadoop-2.2.0
第二步:修改配置文件(只需在一个节点上配置,配置好后再用scp分发到其余节点)
配置文件路径:etc/hadoop/
hadoop-env.sh