hadoop3 高可用集群

已于 2023-11-11 23:09:46 修改
阅读量1k 收藏 3
点赞数
文章标签： hadoop 大数据 hdfs yarn
于 2022-09-17 13:52:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34304427/article/details/126904595
版权

1. 依赖

该教程依赖 Zookeeper 集群，请先查看：

zookeeper 集群搭建

2. 下载与安装

下载 hadoop，这里选择 3.3.4

点击前往下载

上传文件到目录 /opt/software 后解压

tar -zxvf /opt/software/hadoop-3.3.4.tar.gz -C /opt/module

3. HDFS 高可用

3.1. 配置

配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop

3.1.1. hadoop-env.sh

在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小

# 配置 JAVA 程序的堆内存，相当于 Xmx 和 Xms，单位默认为 MB
export HADOOP_HEAPSIZE_MAX=64
export HADOOP_HEAPSIZE_MIN=64

# 设置启动用户为 ROOT，如果不使用 ROOT 启动可以不配置
HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root

3.1.2. core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

    <!-- 指定 zookeeper 的连接地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>mitchell-101:2181,mitchell-102:2181,mitchell-103:2181</value>
    </property> 

    <!-- NameNode 集群路径 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mitchell</value>
    </property>
    
    <!-- 数据储存路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.3.4/data</value>
    </property>

    <!-- 配置 HDFS 网页登录使用的静态用户 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>mitchell</value>
    </property>
    
    <!-- 最大连接重试次数，值太小启动集群时 namenode 可能会因为连接不上而掉线 -->
    <property>
        <name>ipc.client.connect.max.retries</name>
        <value>100</value>
    </property>
    
    <!-- 每次连接的等待时间（毫秒） -->
    <property>
        <name>ipc.client.connect.retry.interval</name>
        <value>10000</value>
    </property>

</configuration>

3.1.3. hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    
    <!-- 分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mitchell</value>
    </property>
    
    <!-- NameNode 集群节点 -->
    <property>
        <name>dfs.ha.namenodes.mitchell</name>
        <value>nn1,nn2,nn3</value>
    </property>
    
    <!-- NameNode 集群通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mitchell.nn1</name>
        <value>mitchell-101:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mitchell.nn2</name>
        <value>mitchell-102:8020</value>
    </property>    
    <property>
        <name>dfs.namenode.rpc-address.mitchell.nn3</name>
        <value>mitchell-103:8020</value>
    </property>
    
     <!-- NameNode HTTP 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mitchell.nn1</name>
        <value>mitchell-101:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mitchell.nn2</name>
        <value>mitchell-102:9870</value>
    </property>    
    <property>
        <name>dfs.namenode.http-address.mitchell.nn3</name>
        <value>mitchell-103:9870</value>
    </property>
    
    <!-- JournalNode 地址 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://mitchell-101:8485;mitchell-102:8485;mitchell-103:8485/cluster</value>
    </property>
    
    <!-- NameNode 存储名称空间和事务日志的本地文件系统上的路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>${hadoop.tmp.dir}/namenode</value>
    </property>
    
    <!-- DataNode 存储名称空间和事务日志的本地文件系统上的路径  -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>${hadoop.tmp.dir}/datanode</value>
    </property>
    
    <!-- JournalNode 在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>${hadoop.tmp.dir}/journalnode</value>
    </property>    
    
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    
    <!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔离机制方法-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    
    <!-- 使用 sshfence 隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/mitchell/.ssh/id_rsa</value>
    </property>
    
    <!-- 配置 sshfence 隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
    
</configuration>

3.1.4. workers

mitchell-101
mitchell-102
mitchell-103

3.2. 启动和关闭

# 【101】分发 hadoop
xsync.sh /opt/module/hadoop-3.3.4

# 【101、102、103】启动 journalnode
./bin/hdfs --daemon start journalnode 

# 【101】格式化 namenode
./bin/hdfs namenode -format

# 【101】启动 namenode
./bin/hdfs --daemon start namenode

# 【102、103】服务器拉取原数据
./bin/hdfs namenode -bootstrapStandby

# 【101】初始化 zkfc，注意先启动 zookeeper 集群
./bin/hdfs zkfc -formatZK

# 【101】启动和关闭集群
./bin/start-dfs.sh
./bin/stop-dfs.sh

# 【101】查看集群是否启动成功
jpsall.sh

启停脚本：vim /opt/module/bin/mhadoop-hdfs.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "请输入参数 start 或者 stop"
    exit;
fi

case $1 in
"start")
    echo "=============================== 启动 hdfs 集群 ==============================="
    /opt/module/hadoop-3.3.4/sbin/start-dfs.sh
;;
"stop")
    echo "=============================== 关闭 hdfs 集群 ==============================="
    /opt/module/hadoop-3.3.4/sbin/stop-dfs.sh
;;
*)
	echo "请输入参数 start 或 stop"
;;
esac

3.3. 浏览器访问

其中会有一个节点为 active 状态，两个节点处于 standby 不启用状态

http://mitchell-101:9870

http://mitchell-102:9870

http://mitchell-103:9870

4. YARN 高可用

4.1. 配置

4.1.1. yarn-site

<?xml version="1.0"?>
<configuration>

    <!-- 指定 zookeeper 的连接地址 -->
    <property>
        <name>hadoop.zk.address</name>
        <value>mitchell-101:2181,mitchell-102:2181,mitchell-103:2181</value>
    </property> 

    <!-- 读取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
     <!-- 启动 resource manager ha -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    
    <!-- resource manager 集群 ID -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn</value>
    </property>
    
    <!-- resource manager 逻辑列表 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value>
    </property>

    <!-- resource manager 主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>mitchell-101</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>mitchell-102</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm3</name>
        <value>mitchell-103</value>
    </property>

    <!-- resource manager 内部通讯地址 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>mitchell-101:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>mitchell-102:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm3</name>
        <value>mitchell-103:8032</value>
    </property>    

    <!-- resource manager web 地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>mitchell-101:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>mitchell-102:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm3</name>
        <value>mitchell-103:8088</value>
    </property>    

    <!-- AM 申请资源的地址 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>mitchell-101:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>mitchell-102:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm3</name>
        <value>mitchell-103:8030</value>
    </property>
    
    <!-- NM 连接的地址 -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>mitchell-101:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>mitchell-102:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
        <value>mitchell-103:8031</value>
    </property>
    
    <!-- 启用自动故障转移 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    
    <!-- 配置 RM 的状态信息存储方式，有 MemStore 和 ZKStore -->
    <property>
        <name>yarn.resourcemanager.store.class</name>                            
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

</configuration>

4.2. 启动和关闭

# 分发配置文件
xsync /opt/module/hadoop-3.3.4/etc

# 启动和关闭
start-yarn.sh
stop-yarn.sh

启停脚本：vim /opt/module/bin/mhadoop-yarn.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "请输入参数 start 或者 stop"
    exit;
fi

case $1 in
"start")
    echo "=============================== 启动 yarn 集群 ==============================="
    /opt/module/hadoop-3.3.4/sbin/start-yarn.sh
;;
"stop")
    echo "=============================== 关闭 yarn 集群 ==============================="
    /opt/module/hadoop-3.3.4/sbin/stop-yarn.sh
;;
*)
	echo "请输入参数 start 或 stop"
;;
esac

4.3. 浏览器访问

http://mitchell-101:8088/

http://mitchell-102:8088/

http://mitchell-103:8088/

被遗忘的优雅
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HadoopHA高可用集群启动脚本
07-07
使用需要修改成自己的路径 用sh ./ha-start启动
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
CentOS 搭建 Hadoop3 高可用集群
热门推荐
桃李不言下自成蹊
11-01 3万+
在/etc/systemd/system/文件夹下创建一个启动脚本zookeeper-3.service。上传本地测试文件 wcdata.txt 到 HDFS 上 /wordcount/input。在 HDFS 上创建目录 /wordcount/input。浏览器访问:http://spark01:19888/浏览器访问: http://spark01:9870。浏览器访问:http://spark01:8088。将元数据内容按照指定格式读取后写入到新文件中。将元数据内容按照指定格式读取后写入到新文件中。
原生Hadoop3.X高可用配置方式
别人笑我太疯癫，我笑他人看不穿。
06-16 1098
Hadoop3.X版本，在2017年左右就有了第一个alpha版本，但是那个时候刚出来，所以没有人使用，到2018年3.0.0版本作为第一个3，X正式发布，截止当前本文书写时间，3.X版本已经发展到了3.4，在Hadoop的顶层设计上最大的区别就是在2.X的时候，高可用机制只允许一个在工作中，一个在备用，但是3.X的hadoop允许最多存在五套高可用节点。当然，官方推荐最多三套，自带的MR计算框架也由原来的纯磁盘运算加入了内存运算的设计。 在给大家介绍3.X如何搭建集群之前，要先给大家说一些理论上的东西，当
大数据技术训练舱：从零开始部署Hadoop3高可用集群（基于CentOS7）
守护石大数据
12-29 1899
大数据技术的学习任重而道远，很多小伙伴都会卡在诸多的基础问题上，因此作为大数据技术方面的布道者，我将开启一个全新的学习实践与指导计划： 从零开始，一步步由浅入深，系统化的开展大数据技术实践的学习指导，手把手的教会我们怎么应用大数据技术框架，再配合上大数据技术、分布式架构的原理研究、系统优化、框架协作等高级内容，使得我们能更深刻的掌握大数据技术。期待能促进更多的工程师朝着大数据、人工智能、物联网等新一代技术方向前进与突破。 您也可以在关注我们的公众号：守护石，输入：hadoop3，解锁阅读全文。 1
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4352
一文带你了解Hadoop的HA高可用搭建!
Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建
峰
03-17 720
Hadoop3高可用（HA:High Available）测试集群搭建。NameNode是整个Hadoop集群的大脑。HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。
Hadoop3.x高可用集群搭建流程
weixin_43540084的博客
11-07 1500
本文基于尚硅谷Hadoop3.x搭建高可用集群文档，hadoop版本为hadoop3.1.3，用于记录自己实操部署的过程和可能存在的问题。
hadoop HA高可用集群实战
有勇气的牛排博客
10-12 1343
HA（high available），即高可用（24h不中断服务）实现高可用最关键的策略是消除单点故障。HA严格来说是应该分成各个组件的HA机制hadoop2.0之前，在HDFS集群中NamNode存在单点故障（SPOF）NameNode主要存在以下两个方敏影响HDFS集群。NameNode机器发生意外，如宕机，集群无法使用，直到管理员重启。NameNode机器需要升级，包括软件，硬件升级，此时集群也将无法使用。
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3969
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
hadoop高可用集群配置
凉茶铺的博客
10-28 1632
介绍了如何搭建高可用hadoop HA集群
hadoop3.0高可用分布式集群安装
maodun
03-29 823
hadoop高可用，依赖于zookeeper。
Hadoop3高可用集群的CentOS7三节点镜像文件和MapReduce代码样例.docx
12-29
Hadoop安装学习的学生、技术工程师
Hadoop之高可用集群的安装.docx
05-12
【Hadoop高可用集群安装详解】 Hadoop是一个开源的分布式计算框架，其高可用性是通过复制和故障切换机制来保证服务的连续性和数据的安全性。在这个实验项目中，我们将探讨如何在完全分布式模式下安装和配置Hadoop的...
Hadoop学习笔记1
m0_66570838的博客
07-25 1004
本文主要介绍了hadoop环境搭建的前置准备工作，包括对Hadoop集群的相关配置以及zookeeper的安装及相关知识说明
分布式系统常见软件架构模式
Ben的专栏
07-25 975
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 519
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Hadoop 3.x高可用HA集群安装指南
"Hadoop高可用HA集群3.x以上版本安装，包括4节点的完全分布式配置，涉及组件有zookeeper、Kafka、mysql、Hive、Spark等。文档提供了网络配置信息，如IP地址、子网掩码、网关和DNS，并列出了服务器的硬件信息，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值