环境说明:
centos:6.5
hadoop:2.7.1
zookeeper:3.4.6
集群划分:
ip 安装的软件运行的进程
192.168.10.160 jdk,hadoop NameNode,DFSZKFailoverController
192.168.10.161 jdk,hadoop NameNode,DFSZKFailoverController
192.168.10.162 jdk,hadoop ResourceManager
192.168.10.163 jdk,hadoop,zookeeper DataNode,NodeManager,JournalNode,QuorumPeerMain
192.168.10.164 jdk,hadoop,zookeeper DataNode,NodeManager,JournalNode,QuorumPeerMain
192.168.10.165 jdk,hadoop,zookeeper DataNode,NodeManager,JournalNode,QuorumPeerMain
安装配置:
160的安装和之前的编译安装时一样的,但是配置文件的配置就会复杂很多,因为添加了集群和高可用特性
共有5个配置文件需要修改,配置文件的修改以本机为例
192.168.10.160:
/opt/hadoop/hadoop271-64/etc/hadoop/core-site.xml
<!-- 指定hadoop的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop271-64/tmp</value>
</property>
<!-- 指定zookeeper位置 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>192.168.10.163:2181,192.168.10.164:2181,192.168.10.165:2181</value>
</property>
/opt/hadoop/hadoop271-64/etc/hadoop/hdfs-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
<!-- <value>ns1,ns2,ns3</value> -->
</property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>192.168.10.160:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>192.168.10.160:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>192.168.10.161:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>192.168.10.161:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://192.168.10.163:8485;192.168.10.164:8485;192.168.10.165:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/hadoop/hadoop271-64/journal</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<!--
<property>
<name>dfs.replication</name>
<value>1</value>
</property> -->
</configuration>
/opt/hadoop/hadoop271-64/etc/hadoop/mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
/opt/hadoop/hadoop271-64/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定resourmanager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.10.162</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>
/opt/hadoop/hadoop271-64/etc/hadoop/slaves
192.168.10.163
192.168.10.164
192.168.10.165
配置ssh免登录
对160,161,162,163,164,165这六台机器互相配置ssh,详细参考hadoop笔记二
复制
在160上配置完成以后,将hadoop复制到161,162,163,164,165上面
注意要将hadoop的tmp目录下的文件清除,不然在构建HA集群的时候,会出现namenode和datanode链接不上的问题
zookeeper安装启动
启动zookeeper之前,需要开启防火墙的几个端口:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8485 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT
-A OUTPUT -m state --state NEW -m tcp -p tcp --sport 2888 -j ACCEPT
-A OUTPUT -m state --state NEW -m tcp -p tcp --sport 3888 -j ACCEPT
然后注意要将在zoo.cfg中配置的dataDir目录中的文件清除(除了myid),否则会出现集群中多个zk不能正常连接
按照hadoop学习笔记三种的方式安装zookeeper,并且在163,164,165上启动zookeeper集群
然后按照zookeeper的选举规则,164会是leader,163和165会是follower,如果启动后发生Error contacting service. It is probably not running.错误,
没有正常显示leader和follower,就要考虑是不是防火墙没有开启2888和3888(默认的两个端口,用来进行集群节点间通信)端口,
如果开启端口以后还是不行,就要看zookeeper的bin目录下的zookeeper.out日志,来查看是否打印了错误信息
journalnode安装启动
/opt/hadoop/hadoop271-64/sbin/hadoop-daemon.sh start journalnode
然后可以使用jps命令查看journalnode进程是否启动了
格式化hdfs
hdfs namenode -format
格式化zk
hdfs zkfc -formatZK
初始化完成以后,在165的客户端上查看zk的根目录
[zk: localhost:2181(CONNECTED) 0] ls /
[test, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /
[hadoop-ha, test, zookeeper]
[zk: localhost:2181(CONNECTED) 2]
启动hdfs
/opt/hadoop/hadoop271-64/sbin/start-dfs.sh
启动成功以后
启动YARN
/opt/hadoop/hadoop271-64/sbin/start-yarn.sh