Hadoop教程(五)Hadoop分布式集群部署安装

 

 

Hadoop教程(五)Hadoop分布式集群部署安装

 

 

1 Hadoop分布式集群部署安装

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。

   hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

  这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当ActiveNameNode挂掉了，会自动切换Standby NameNode为standby状态。

1.1 Hadoop分布式集群工作原理图

1.2 集群规划

主机名	IP	安装软件	运行进程
Hadoop1	192.168.1.121	Jdk、Hadoop	NameNode、DFSZKFailoverController
Hadoop2	192.168.1.122	Jdk、Hadoop	NameNode、DFSZKFailoverController
Hadoop3	192.168.1.123	Jdk、Hadoop	ResourceManager
Hadoop4	192.168.1.124	Jdk、Hadoop、Zookeep	DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop5	192.168.1.125	Jdk、Hadoop、Zookeep	DataNode、NodeManager、JournalNode、QuorumPeerMain
Hadoop6	192.168.1.126	Jdk、Hadoop、Zookeep	DataNode、NodeManager、JournalNode、QuorumPeerMain

 

1.3 相关下载

1、JDK下载地址：jdk-8u66-linux-x64.tar.gz

Linux安装JDK及环境变量配置，参见：http://blog.csdn.net/yuan_xw/article/details/49948285

 

2、Hadoop下载：hadoop-2.7.1.tar.gz

 

3、Zookeeper下载：zookeeper-3.4.5.tar.gz

1.4 配置hosts文件

配置Hadoop1服务器，执行命令：vi /etc/hosts

127.0.0.1    localhost

192.168.1.121   Hadoop1

192.168.1.122   Hadoo