hadoop学习笔记七 -- hadoop集群高可用架构安装配置

最新推荐文章于 2024-05-12 14:31:22 发布

mingtian625

最新推荐文章于 2024-05-12 14:31:22 发布

阅读量779

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/mingtian625/article/details/49235295

版权

hadoop 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

环境说明：

centos:6.5

hadoop:2.7.1

zookeeper:3.4.6

集群划分：

ip 安装的软件运行的进程

192.168.10.160 jdk,hadoop NameNode,DFSZKFailoverController

192.168.10.161 jdk,hadoop NameNode,DFSZKFailoverController

192.168.10.162 jdk,hadoop ResourceManager

192.168.10.163 jdk,hadoop,zookeeper DataNode,NodeManager,JournalNode,QuorumPeerMain

192.168.10.164 jdk,hadoop,zookeeper DataNode,NodeManager,JournalNode,QuorumPeerMain

192.168.10.165 jdk,hadoop,zookeeper DataNode,NodeManager,JournalNode,QuorumPeerMain

安装配置：

160的安装和之前的编译安装时一样的，但是配置文件的配置就会复杂很多，因为添加了集群和高可用特性

共有5个配置文件需要修改,配置文件的修改以本机为例

192.168.10.160：

/opt/hadoop/hadoop271-64/etc/hadoop/core-site.xml

<!-- 指定hadoop的nameservice为ns1 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!-- 指定hadoop临时目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/hadoop271-64/tmp</value>
	</property>
	<!-- 指定zookeeper位置 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>192.168.10.163:2181,192.168.10.164:2181,192.168.10.165:2181</value>
	</property>

/opt/hadoop/hadoop271-64/etc/hadoop/hdfs-site.xml

<configuration>
	<!-- 指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
	<property>
	   <name>dfs.nameservices</name>
	   <value>ns1</value>
	   <!-- <value>ns1,ns2,ns3</value> -->
	</property>
	<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>192.168.10.160:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>192.168.10.160:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>192.168.10.161:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>192.168.10.161:50070</value>
	</property>
	<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://192.168.10.163:8485;192.168.10.164:8485;192.168.10.165:8485/ns1</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/hadoop/hadoop271-64/journal</value>
	</property>
	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
	
	<!--
	<property>
	   <name>dfs.replication</name>
	   <value>1</value>
	</property>  -->
	
</configuration>

/opt/hadoop/hadoop271-64/etc/hadoop/mapred-site.xml

<configuration>
	<!-- 指定mr框架为yarn方式 -->
	<property>
		 <name>mapreduce.framework.name</name>
		 <value>yarn</value>
	</property>
</configuration>

/opt/hadoop/hadoop271-64/etc/hadoop/yarn-site.xml

<configuration>

<property>
	<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定resourmanager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>192.168.10.162</value>
</property>
<!-- Site specific YARN configuration properties -->

</configuration>

/opt/hadoop/hadoop271-64/etc/hadoop/slaves

192.168.10.163
192.168.10.164
192.168.10.165

配置ssh免登录

对160，161，162，163，164，165这六台机器互相配置ssh，详细参考hadoop笔记二

复制

在160上配置完成以后，将hadoop复制到161，162，163，164，165上面

注意要将hadoop的tmp目录下的文件清除，不然在构建HA集群的时候，会出现namenode和datanode链接不上的问题

zookeeper安装启动

启动zookeeper之前，需要开启防火墙的几个端口：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8485 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2888 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3888 -j ACCEPT

-A OUTPUT -m state --state NEW -m tcp -p tcp --sport 2888 -j ACCEPT
-A OUTPUT -m state --state NEW -m tcp -p tcp --sport 3888 -j ACCEPT

然后注意要将在zoo.cfg中配置的dataDir目录中的文件清除（除了myid），否则会出现集群中多个zk不能正常连接

按照hadoop学习笔记三种的方式安装zookeeper，并且在163，164，165上启动zookeeper集群

然后按照zookeeper的选举规则，164会是leader,163和165会是follower，如果启动后发生Error contacting service. It is probably not running.错误，

没有正常显示leader和follower，就要考虑是不是防火墙没有开启2888和3888（默认的两个端口，用来进行集群节点间通信）端口，

如果开启端口以后还是不行，就要看zookeeper的bin目录下的zookeeper.out日志，来查看是否打印了错误信息

journalnode安装启动

分别在163,164,165启动hadoop的hadoop-daemons.sh脚本

/opt/hadoop/hadoop271-64/sbin/hadoop-daemon.sh start journalnode

然后可以使用jps命令查看journalnode进程是否启动了

格式化hdfs

要在160上初始化namenode

hdfs namenode -format

在160上初始化namenode完成以后，要将hadoop的tmp目录下的文件通过scp同步到161上，不然的话，可能会出现160的namenode可以连接datanode,但是161的namenode无法连接datanode

格式化zk

在160上格式化zk，在161上也可以

hdfs zkfc -formatZK

初始化完成以后，在165的客户端上查看zk的根目录

发现新增了一个 hadoop-ha 目录

[zk: localhost:2181(CONNECTED) 0] ls /
[test, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /
[hadoop-ha, test, zookeeper]
[zk: localhost:2181(CONNECTED) 2]

启动hdfs

在160上启动即可，

/opt/hadoop/hadoop271-64/sbin/start-dfs.sh

启动成功以后

160和161会启动两个进程

namenode

DFSZKFailoverController

163,164,165会启动一个进程

datanode

启动YARN

在162上执行

/opt/hadoop/hadoop271-64/sbin/start-yarn.sh

162上会启动两个进程

resourcemanager

nodemanager

这样，一个高可用的hadoop集群就搭建完成了

mingtian625

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录