大数据软件之搭建Hadoop高可用集群

最新推荐文章于 2024-09-14 22:07:12 发布
最新推荐文章于 2024-09-14 22:07:12 发布
阅读量340 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Clozzz/article/details/107187803
版权

目录

一、HDFS-HA集群配置

1.1 配置HDFS-HA集群

1.2 启动HDFS-HA集群

1.3 配置HDFS-HA自动故障转移

问题解决：

二、YARN-HA配置

2.1 配置YARN-HA集群

2.2 启动YARN

一、HDFS-HA集群配置

1.1 配置HDFS-HA集群

1.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。(这两个分布式环境在我之前的博客都写过！)

2.可以先在主机上配置好Hadoop高可用的配置，然后远程拷贝到其他机器上，这样可以节省时间

3.集群规划

 Hadoop102Hadoop103Hadoop104
HDFSNameNode、DataNodeNameNode(StandBy)、DataNodeDataNode
YarnResourceManager、NodeManagerResourceManager、NodeManagerNodeManager

4.在hadoop102配置core-site.xml

<configuration> 
<!-- 把两个 NameNode）的地址组装成一个集群 mycluster --> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://mycluster</value> 
    </property> 

<!-- 指定 hadoop 运行时产生文件的存储目录 --> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/opt/install/hadoop/data/tmp</value> 
    </property> 
</configuration>

5.在hadoop102配置hdfs-site.xml

<configuration> 
<!-- 完全分布式集群名称 --> 
    <property> 
        <name>dfs.nameservices</name> 
        <value>mycluster</value> 
    </property> 

<!-- 集群中 NameNode 节点都有哪些,这里是 nn1 和 nn2 --> 
    <property> 
        <name>dfs.ha.namenodes.mycluster</name> 
        <value>nn1,nn2</value>
    </property>

<!-- nn1 的 RPC 通信地址 --> 
    <property> 
        <name>dfs.namenode.rpc-address.mycluster.nn1</name> 
        <value>hadoop102:9000</value> 
    </property> 

<!-- nn2 的 RPC 通信地址 --> 
    <property> 
        <name>dfs.namenode.rpc-address.mycluster.nn2</name> 
        <value>hadoop103:9000</value> 
    </property> 

<!-- nn1 的 http 通信地址 --> 
    <property> 
        <name>dfs.namenode.http-address.mycluster.nn1</name> 
        <value>hadoop102:50070</value> 
    </property> 

<!-- nn2 的 http 通信地址 --> 
    <property> 
        <name>dfs.namenode.http-address.mycluster.nn2</name> 
        <value>hadoop103:50070</value> 
    </property> 

<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 --> 
    <property> 
        <name>dfs.namenode.shared.edits.dir</name> 
        <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/my cluster</value> 
    </property> 

<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 --> 
    <property> 
        <name>dfs.ha.fencing.methods</name> 
        <value>sshfence</value> 
    </property> 

<!-- 使用隔离机制时需要 ssh 无秘钥登录--> 
    <property> 
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value> 
        //现在的该值为hadoop用户的私钥，如果是root用户，则将值改为/root/.ssh/id_rsa
    </property> 

<!-- 声明 journalnode 服务器存储目录--> 
    <property> 
        <name>dfs.journalnode.edits.dir</name> 
        <value>/opt/install/hadoop/data/jn</value> 
    </property> 

<!-- 关闭权限检查--> 
    <property> 
        <name>dfs.permissions.enable</name> 
        <value>false</value> 
    </property> 

<!-- 访问代理类：client，mycluster，active 配置失败自动切换实现方 式-->
    <property> 
        <name>dfs.client.failover.proxy.provider.mycluster</name> 
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailover ProxyProvider</value> 
    </property>
</configuration>

1.2 启动HDFS-HA集群

  1. 在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务： 
hadoop-daemon.sh start journalnode
      2. 在[nn1] 上，对其进行格式化，并启动： 
#格式化namenode
hdfs namenode -format

#启动namenode
hadoop-daemon.sh start namenode
     3.在[nn2]上，同步 nn1 的元数据信息： 
hdfs namenode -bootstrapStandby

     4.启动[nn2]：

hadoop-daemon.sh start namenode

     5.查看 web 页面显示，两台机器上的namenode都启动了，并且都是standby状态

     6.在[nn1]上，启动所有 datanode

hadoop-daemons.sh start datanode

     7.将[nn1]切换为 Active

hdfs haadmin -transitionToActive nn1

     8.查看是否 Active

hdfs haadmin -getServiceState nn1

1.3 配置HDFS-HA自动故障转移

1.在hdfs-site.xml中添加

<property> 
    <name>dfs.ha.automatic-failover.enabled</name> 
    <value>true</value> 
</property>

2.在core-site.xml中添加

<property> 
    <name>ha.zookeeper.quorum</name>     
    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
</property>

3.启动

(1)关闭所有HDFS服务：

stop-dfs.sh

(2)启动zookeeper集群(三台都要起)：

zkServer.sh start

(3)初始化 HA 在 Zookeeper 中状态：

hdfs zkfc -formatZK

(4)启动 HDFS 服务：

start-dfs.sh

(5)在各个NameNode 节点上启动 DFSZK Failover Controller，先在哪台机器启动，哪个机器的 NameNode 就是 Active NameNode

hadoop-daemin.sh start zkfc

4.验证

(1)将 Active NameNode 进程 kill

kill -9 namenode的进程id
 

问题解决：

如果出现结束Active NameNode，而StandBy NameNode不能自动切换为Active状态

解决方法1：在装有namenode的两台机器上下载一个插件，安装好了即可解决问题

yum install psmisc

解决方法2：如果方法1不能解决该问题，则试试方法2

将三台机器上的hdfs-site.xml中的配置隔离机制配置改为如下配置

#配置隔离机制，即同一时刻只能有一台服务器对外响应
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
</property>

该方法也可解决不能自动切换的问题

二、YARN-HA配置

2.1 配置YARN-HA集群

1.集群规划在文章最上面有

2.具体配置

 (1)yarn-site.xml

<configuration> 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 

<!--启用 resourcemanager ha--> 
    <property> 
        <name>yarn.resourcemanager.ha.enabled</name>
<value>true</value> 
</property> 

<!--声明两台 resourcemanager 的地址--> 
    <property> 
        <name>yarn.resourcemanager.cluster-id</name> 
        <value>cluster-yarn1</value> 
    </property> 

    <property> 
        <name>yarn.resourcemanager.ha.rm-ids</name> 
        <value>rm1,rm2</value> 
    </property> 

    <property> 
        <name>yarn.resourcemanager.hostname.rm1</name> 
        <value>hadoop102</value> 
    </property> 

    <property> 
        <name>yarn.resourcemanager.hostname.rm2</name> 
        <value>hadoop103</value> 
    </property> 

<!--指定 zookeeper 集群的地址--> 
    <property> 
        <name>yarn.resourcemanager.zk-address</name> 
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
    </property> 

<!--启用自动恢复--> 
    <property> 
        <name>yarn.resourcemanager.recovery.enabled</name> 
        <value>true</value> 
    </property> 

<!--指定 resourcemanager 的状态信息存储在 zookeeper 集群--> 
    <property> 
        <name>yarn.resourcemanager.store.class</name>                 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property> 
</configuration>

配置全部完成，此时只需要将当前主机上的hadoop软件文件夹远程拷贝到其他两个机器上

scp -r hadoop root@主机名:$PWD
//注意，当前所在位置一定要在hadoop软件文件夹的上一层目录，例如hadoop的安装路径为/opt/hadoop
则需要在opt文件夹下使用该命令，PWD表示将hadoop文件夹拷贝到其他机器上的相同位置上，如果不需要可以自己定义位置

2.2 启动YARN

(1)在 hadoop102 中执行：

start-yarn.sh

(2)在 hadoop103 中执行：

yarn-daemon.sh start resourcemanager

(3)查看服务状态

yarn rmadmin -getServiceState rm1

最后去web页面的8088端口查看集群环境是否搭建完毕

三台虚拟机的进程情况如下图：

只有像上述进程情况才算搭建完毕！！！

Clozzz
关注
专栏目录
搭建Hadoop高可用集群
hhhahahaha的博客
06-30 372
掌握了 Hadoop 中的高可用架构后，搭建一个Hadoop高可用集群，具体步骤如下： 1.部署集群节点 规划整个集群由3台虚拟机组成，这3台虚拟机在高可用集群中的部署规划情况如表所示。 其中，3个服务器组成了一个Zookeeper集群，其中hadoop01和hadoop02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。Journal Node是数据共享节点，三台组成共享存储系统。 2.环境准备 首先，在原来集群的基础上（hdfs\mapreduce\zookeeper都
Hadoop高可用集群的搭建
water drop的博客
01-03 420
Hadoop高可用集群搭建 搭建高可用集群，需要涉及到 8 个配置文件 1.zookepper 节点的 zkdata文件目录下的 myid 2.zookepper 节点的zkdata文件目录下的zoo.cfg 3.hadoop安装目录下的etc/hadoop/ 目录下的 hadoop-env.sh 4.hadoop安装目录下的etc/hadoop/ 目录下的 core-site.xml 5.had...
Hadoop高可用集群搭建（接完全分布式）
weixin_42487460的博客
07-07 356
Hadoop高可用集群搭建配置 HDFS-HA 集群配置core-site.xml配置hdfs-site.xml启动 HDFS-HA 集群配置 HDFS-HA 自动故障转移YARN-HA配置配置yarn-site.xml启动yarn 在完全分布式基础上继续配置，hadoop集群完全分布式搭建连接： https://blog.csdn.net/weixin_42487460/article/details/107169638 配置 HDFS-HA 集群 配置core-site.xml <configur
hadoop完全分布式和高可用搭建
weixin_43799054的博客
03-30 675
hadoop完全分布式 环境配置：centos7 四台 版本：zookeeper-3.4.14 、hadoop-2.7.7（当然你也可以自己选择） 准备 配置防火墙 如果是服务器的话，首先要开启相关的端口。若是虚拟机，记得关闭防火墙 关闭防火墙 systemctl stop firewalld service iptables stop xshell连接虚拟机 小工具：当虚拟机或服务器数量过多时...
Hadoop集群搭建后续，真正实现高可用。
无求道贾的博客
04-01 3333
Hadoop集群搭建后续，真正实现高可用。
全国大学生大数据技能竞赛指导文档（大数据集群搭建指南）
追梦人的博客
11-04 6336
大数据校内竞赛 1 1、引言 1 1.1 编写目的 1 1.2 读者对象 1 1.4 环境要求 1 2、操作说明 1 2.1登陆方式 1 2.2比赛进行中 2 2.3比赛已结束 5 大数据竞赛本地源介绍 5 大数据竞赛题目操作手册 6 1、基础搭建 6 1.1 使用连接工具连接比赛节点，更改本地源 7 1.2 配置hosts文件（三台机器都执行） 7 1.3 关闭防火墙（三台机器都执行） 8 1.4 时间同步 8 1.5 配置ssh免密 10 2、安装JDK 11 3、安装zookeeper 12 4、安装
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181536的博客
05-02 755
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
大数据+搭建+hadoop+高可用集群搭建
11-17
大专上学
大数据教程之搭建Hadoop集群.zip
01-14
在大数据领域，Hadoop...总之，搭建Hadoop集群是一个涉及多步骤的过程，需要理解Hadoop的基本原理，并熟悉Linux环境下的系统管理和网络配置。通过这些文档和资源，你可以逐步学习并实践，建立起自己的大数据处理平台。
基于Zookeeper搭建Hadoop高可用集群
06-15
基于 Zookeeper 搭建 Hadoop 高可用集群 基于 Zookeeper 搭建 Hadoop 高可用集群是指使用 Zookeeper 实现 Hadoop 集群的高可用性，确保 Hadoop 集群的可靠性和稳定性。高可用性是指系统在面临故障或错误时仍能继续...
（六）使用Ansible搭建分布式大数据基础环境-Hadoop高可用集群搭建
workwithwebis3w的专栏
07-05 2274
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第六篇。更多后续文章敬请关注后续文章。
Hadoop
Casual_Lei的博客
09-11 1043
Hadoop 是处理大规模数据的强大工具，它通过 HDFS 提供分布式存储，通过 MapReduce 实现分布式计算，通过 YARN 管理资源，构成了一个高度可扩展的分布式系统。尽管 Hadoop 由于其批处理特点不适用于所有场景，但它在大数据领域依然具有不可替代的重要地位，尤其是在数据湖和批处理任务中。
Flume：大规模日志收集与数据传输的利器
最新发布
Casual_Lei的博客
09-14 843
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
Elasticsearch7.x 集群迁移文档
happy_king_zi的博客
09-11 992
同时检查当前运行集群状态是否为green。如果出现异常，可以配置discovery.zen.ping.unicast.hosts: [“10.200.112.149”, “10.200.112.151”,“10.200.112.153”,“172.31.2.84”, “172.31.0.147”,“172.31.0.94”]，恢复当前关闭节点。操作顺序操作动作1。
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 850
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
【RabbitMQ】工作模式
weixin_73060900的博客
09-11 944
对RabbitMQ工作模式的简单概述以及代码案例
滚雪球学SpringCloud[2.2]：Consul与Zookeeper服务注册
**My Coding Family**
09-14 796
在上一节【2.1 服务注册中心Eureka】中，我们探讨了 Netflix 开源的服务注册中心 Eureka 的核心概念及其在微服务架构中的应用。Eureka 通过提供服务注册与发现功能，帮助微服务之间高效通信，并且具备高可用性和扩展性。虽然 Eureka 在微服务架构中应用广泛，但并不是唯一的解决方案。除了 Eureka，还有其他非常优秀的服务注册中心，如Consul和Zookeeper，它们在不同的场景下各有优势。本节将详细介绍Consul和Zookeeper。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 558
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-127 - Flink State 04篇 状态原理和原理剖析：状态存储 Part2
永远好奇，无限进步！
09-10 2295
在Flink的实际实现中，对于同一种StateBackend，不同的State在运行时会有细分的StateBackend托管，例如：MemoryStateBackend，就有DefaultOperatorStateBackend管理OperatorState，HeapKeyedStateBackend管理KeyedState。JOB_ID是应用的唯一ID，CHECK_POINT_ID 是每次 CheckPoint时自增的数字ID，我们可以从备份的CheckPoint数据恢复当时的作业状态。
Hadoop高可用集群搭建指南
"本文档主要介绍了如何在大专学习环境中搭建基于Hadoop的大数据高可用集群，包括网络配置、SSH免密登陆的设置以及JDK和Hadoop的安装与配置。" 在大数据领域，Hadoop是一个广泛使用的开源框架，它允许在大规模分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值