Hadoop之HA高可用

最新推荐文章于 2024-05-02 20:59:28 发布

清梦清河

最新推荐文章于 2024-05-02 20:59:28 发布

阅读量405

点赞数 1

分类专栏： hadoop 文章标签： hadoop zookeeper 大数据

本文链接：https://blog.csdn.net/m0_51691291/article/details/121479163

版权

本文详细介绍了如何配置和测试Hadoop的高可用性，包括HDFS和YARN的HA设置。首先，集群规划和前提条件被提及，然后通过免密配置、修改配置文件（如core-site.xml和hdfs-site.xml）以及格式化ZK和namenode来实现HDFS的高可用。接着，配置yarn-site.xml和mapred-site.xml以实现YARN的高可用。在测试环节，通过手动杀死namenode进程并观察集群的自我恢复能力验证了HA功能的成功实施。

摘要由CSDN通过智能技术生成

Hadoop之HA高可用

1、集群规划

	ZooKeeper	NameNode	DataNode	ResourceManager	NodeManage	JN	ZKFC
master	1	1		1		1	1
node1	1	1	1	1	1	1	1
node2	1		1		1	1

2、前提

1、Zookeeper集群安装完毕
2、jdk安装完成等等

3、免密配置

注意：两台NameNode机器（master、node1）都需要配置免密登录
在这里插入图片描述

4、修改hadoop配置文件

4.1、hdfs高可用

1、修改core-site.xml 添加如下配置文件

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://cluster</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
	</property>
	<property>
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>
	<property>
	      <name>ha.zookeeper.quorum</name>
	      <value>master:2181,node1:2181,node2:2181</value>
	</property>
</configuration>

2、修改hdfs-site.xml文件，添加如下内容

<configuration>
	<!-- 指定hdfs元数据存储的路径 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/usr/local/soft/hadoop-2.7.6/data/namenode</value>
	</property>
	<!-- 指定hdfs数据存储的路径 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/usr/local/soft/hadoop-2.7.6/data/datanode</value>
	</property>
	<!-- 数据备份的个数 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!-- 关闭权限验证 -->
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
	<!-- 开启WebHDFS功能（基于REST的接口服务） -->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<!-- //以下为HDFS HA的配置// -->
	<!-- 指定hdfs的nameservices名称为mycluster -->
	<property>
		<name>dfs.nameservices</name>
		<value>cluster</value>
	&l