HA集群配置文件

最新推荐文章于 2024-07-09 15:39:42 发布
最新推荐文章于 2024-07-09 15:39:42 发布
阅读量299 收藏
点赞数
分类专栏： bigdata_配置&脚本 文章标签： hadoop 大数据 hdfs 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43523503/article/details/109188796
版权

步骤3：HDFS-HA集群配置文件

core-siet.xml

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/ha/hadoop-3.1.3/data</value>
    </property>
	<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
		<property>
			<name>hadoop.http.staticuser.user</name>
			<value>atguigu</value>
	</property>
	<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
		<property>
			<name>hadoop.proxyuser.atguigu.hosts</name>
			<value>*</value>
	</property>
	<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
		<property>
			<name>hadoop.proxyuser.atguigu.groups</name>
			<value>*</value>
	</property>
	<!-- 指定zkfc要连接的zkServer地址 -->
    <property>
	    <name>ha.zookeeper.quorum</name>
	    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
  <!-- 完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <!-- 集群中NameNode节点都有哪些 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2,nn3</value>
  </property>
  <!-- NameNode的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop102:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop103:9820</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn3</name>
    <value>hadoop104:9820</value>
  </property>
  <!-- NameNode的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop102:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop103:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn3</name>
    <value>hadoop104:9870</value>
  </property>
  <!-- JournalNode数据存储目录 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>${hadoop.tmp.dir}/jn</value>
  </property>
  <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
  </property>
  <!-- 访问代理类：client用于确定哪个NameNode为Active -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <!-- 使用隔离机制时需要ssh秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/atguigu/.ssh/id_rsa</value>
  </property>
  <!-- 启动自动故障转移机制zkfc -->
  <property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
  </property>
</configuration>

步骤4：YARN-HA集群配置文件

yarn-site.xml

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
	</property>
    <!-- 启用resourcemanager ha -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 声明两台resourcemanager的地址 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>
    <!--指定resourcemanager的逻辑列表-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
	</property>
	<!-- ========== rm1的配置 ========== -->
	<!-- 指定rm1的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
	</property>
	<!-- 指定rm1的web端地址 -->
	<property>
    	 <name>yarn.resourcemanager.webapp.address.rm1</name>
    	 <value>hadoop102:8088</value>
	</property>
	<!-- 指定rm1的内部通信地址 -->
	<property>
    	 <name>yarn.resourcemanager.address.rm1</name>
    	 <value>hadoop102:8032</value>
	</property>
	<!-- 指定AM向rm1申请资源的地址 -->
	<property>
    	 <name>yarn.resourcemanager.scheduler.address.rm1</name>  
    	 <value>hadoop102:8030</value>
	</property>
	<!-- 指定供NM连接的地址 -->  
	<property>
     	<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
     	<value>hadoop102:8031</value>
	</property>
	<!-- ========== rm2的配置 ========== -->
    <!-- 指定rm2的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.webapp.address.rm2</name>
    	 <value>hadoop103:8088</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.address.rm2</name>
    	 <value>hadoop103:8032</value>
	</property>
	<property>
     	<name>yarn.resourcemanager.scheduler.address.rm2</name>
     	<value>hadoop103:8030</value>
	</property>
	<property>
    	 <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
    	 <value>hadoop103:8031</value>
    </property>
    <!-- 指定zookeeper集群的地址 --> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    <!-- 启用自动恢复 --> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定resourcemanager的状态信息存储在zookeeper集群 --> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!-- 环境变量的继承 -->
 	<property>
        <name>yarn.nodemanager.env-whitelist</name>		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
	</property>
	<!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
	</property>
	<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
	<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
		<name>yarn.log.server.url</name>  
		<value>http://hadoop102:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>
最佳第六六六人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop HA 集群配置文件
11-10 170
1、hadoop-env.sh配置 export JAVA_HOME=(jdk安装地址) 2、hdfs-site.xml配置文件 <此新名称服务的逻辑名称> dfs.nameservices </ name> mycluster </ value> <名称服务中每个NameNode的唯一标识符> dfs.ha.namenodes....
Hadoop HA集群配置.docx
08-23
7. **分发ZooKeeper和配置文件**：将ZooKeeper的目录和`/etc/profile`文件复制到所有集群节点上，并在每个节点上执行`source /etc/profile`使配置生效。 8. **启动ZooKeeper集群**：在每个节点上启动ZooKeeper服务...
Hadoop（HA）高可用配置文件
03-26
详细的 hadoop （HA）高可用配置文件内容，以及注释摘要。四个配置文件详细内容。
HA 高可用
weixin_33985679的博客
08-29 119
HA 即 （high available）高可用，又被叫做双机热备，用于关键性业务。 简单理解就是，有两台机器A和B，正常是A提供服务，B待命闲置，当A宕机或服务宕掉，会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived，其中keepalived有负载均衡的功能。下面我们使用heartbeat来做HA集群，并且把nginx服务作为H...
Hadoop HA 高可用之旅
记录点点滴滴
11-19 1013
Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划 概述 所谓 HA（Hig
Hadoop HA 高可用
unhurried人生——冕临的博客
09-22 889
HA，即高可用（7*24 小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。在Hadoop2.0版本之前，HDFS集群中一旦NameNode节点所在的机器发生意外，如宕机，集群将无法使用，直到管理员重启。或者NameNode节点的机器需要升级，包括软件、硬件升级，此时集群也将无法使用。HDFS HA就是为了解决上述问题。
全是干货---Linux 高可用（HA）集群基本概念详解
weixin_33928467的博客
02-04 216
http://www.linuxidc.com/Linux/2013-08/88522.htm 高可用集群的衡量标准    HA(High Available), 高可用性群集是通过系统的可靠性(reliability)和可维护性(maintainability)来度量的。工程上，通常用平均无故障时间(MTTF)来度量系统的可靠性,用平均维修时间（MTTR）来度量系统的可维护性。于是可用性被定义...
HadoopHA集群配置文件
11-28
本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...
第5章-Hadoop HA集群配置.pdf
05-19
Hadoop HA 集群配置 本章节将详细介绍 Hadoop HA 集群配置的实验步骤，包括高可用 ZooKeeper 集群的部署、配置和启动。整个实验过程共分为三个部分：实验一：高可用 ZooKeeper 集群部署、实验二：Hadoop HA 集群...
集群搭建所需要的配置文件.zip
04-24
首先，我们要关注的是“完全分布式集群配置文件”。这种类型的集群旨在通过多个节点间的协作提供服务，每个节点都可以独立处理工作负载，甚至在其他节点故障时也能保持服务的连续性。这通常涉及到以下核心配置： 1....
什么是高可用性（HA）
howard的技术之路
04-20 2808
　　什么是高可用性 (HA)　　“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。 　　例如我们希望电力、水力服务是高可用性的系统。 　　计算机系统的可靠性用平均无故障时间（MTTF）来度量，即计算机系统平均能够正常运行多长时间，才发生一次故障。系统的可靠性越高，平均无故障时间越长。可维护性用平均维修时间（MTTR）来度
HA高可用？集群？
最新发布
qq_33548401的博客
07-09 807
高可用：防止服务彻底宕机 集群：同种功能的大集体
HA高可用
weixin_33672109的博客
11-16 256
HA（High Availability）高可用集群:双主，可同时承载业务服务 单核CPU一般用于中低端设备 高端交换机关键部件都会采用冗余备份 通常使用MTTR和MTBF这两个指标评价产品或系统的可靠性。MTTR：平均修复时间（Mean Time to Repair）是指从故障到恢复正常所需的平均时间MTBF：平均故障间隔时间（Mean Time ...
高可用HA
大数据
10-16 490
1.NN + SN 模式： 2.HA
高可用（HA）
Gao068465的博客
04-22 1288
温故： 最近有点忙，一直在忙着搬家所以没有更新文章，今天刚好有时间所以和大家聊聊。前面的日子里一直和大家分享网络方面的知识，基本上把网络的发展历程及现状都和大家介绍了一遍，希望大家在闲暇的时间多去看看。看我的也好，别人的也罢，总之多看点总没有坏处。 知新： 一、什么是高可用 今天又是一个夜班，也不知道写点啥，所以就打算和大家聊聊高可用，即HA.说起这个概念大家应该不会陌生，毕竟只要是干运维的基本都用过，最起码也听说过吧！！！咱们先说说什么是高可用，所谓的高可用就是其实就是指系统在出现故障时能持.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最佳第六六六人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值