HDFS-HA 集群搭建

最新推荐文章于 2023-09-04 16:23:03 发布
最新推荐文章于 2023-09-04 16:23:03 发布
阅读量389 收藏
点赞数 1
分类专栏： # Hadoop 文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45417821/article/details/121269038
版权
本文介绍了如何规划高可用(HA)的HDFS集群，以消除NameNode的单点故障。在HA环境中，需要在三台节点上部署NameNode，利用JournalNode保证Edits文件的一致性。通过自动或手动方式确保仅有一台NameNode处于活跃状态，而备用NameNode负责数据同步。当NameNode发生故障时，可进行手动或自动故障转移，确保服务连续性。
摘要由CSDN通过智能技术生成

当前 HDFS 集群的规划

hadoop102hadoop103hadoop104
NameNodeSecondarynamenode
DataNodeDataNodeDataNode

HA 的主要目的是消除 namenode 的单点故障,需要将 hdfs 集群规划成以下模样

hadoop102hadoop103hadoop104
NameNodeNameNodeNameNode
DataNodeDataNodeDataNode

HDFS-HA 核心问题

1，怎么保证三台 namenode 的数据一致
（1）Fsimage:让一台 nn 生成数据,让其他机器 nn 同步
（2）Edits:需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

2，怎么让同时只有一台 nn 是 active(活跃的)，其他所有是 standby(备用的)
（1）手动分配
（2）自动分配

3，2nn 在 ha 架构中并不存在，定期合并 fsimage 和 edtis 的活谁来干
（1）由 standby 的 nn 来干

4，如果 nn 真的发生了问题，怎么让其他的 nn 上位干活
（1）手动故障转移
（2）自动故障转移

Alienware^
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS的HA（高可用）搭建
FanShuaiKO的博客
05-13 467
ＨＡ（高可用）搭建 前言： HDFS的高可用简单来说分为两部分：共享editLog和ZKFC对NN的状态的控制 目录 前言： 目录 一、准备工作 二、修改hadoop-env.sh 三、修改hdfs-site.xml 四、修改core-size.xml 五、分发修改的配置文件 六、Zookeeper的安装和配置 七、启动journalnode守护进程 八、备NameNod...
搭建HA HDFS集群
学习、记录、分享
09-20 239
一、搭建zookeeper集群 （奇数个节点 3个节点 ） 1. 上传zookeeper到linux服务器，并解压缩/opt/install中 2. zookeeper_home/conf zoo_sample.cfg 改名 成 zoo.cfg cp zoo_sample.cfg zoo.cfg 3. 修改zoo.cfg # zookeeper_home 创建 data目录 data...
HDFS-HA的搭建
爱偷吃香蕉的萌猴子
03-08 736
HDFS HA(高可用)NameNode HA免密码：登录到别的机器上去执行脚本 将原来hdfs-site.xml文件中的配置删除，配置hdfs HA的配置1、配置/opt/modules/hadoop-2.5.1/etc/hadoop目录下的hdfs-site.xml文件<configuration> <property> <name>dfs.nameservi
Hadoop HA(HDFS高可用)集群搭建
qq_57193542的博客
09-28 524
本文搭建hadoop的环境为 centos7.9 Hadoop3.1.3 jdk-8u301 zookeeper-3.4.6，我们首先需要准备好三台虚拟机，修改好主机名，设置静态IP，关闭防火墙，关闭selinux，以其中一台master节点为例具体操作如下 [root@master ~]# yum -y install vim [root@master ~]# vim /etc/hostname #只有一行，改为master,其他两台分别改为slave1,slave2 [root@master ~]#
HDFS HA 高可用集群搭建详细图文教程
最新发布
Stars.Sky 的博客
09-04 2982
HDFS HA 高可用搭建详细图文教程
HDFS-HA 集群搭建 YARN-HA 集群的搭建 配置 HDFS-HA 自动故障转移机制
csdnwindnorth的博客
09-06 872
HA概述 1.所谓HA（high available），即高可用（7*24小时不中断服务）。 2.实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3.Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4.NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无...
Hadoop-hdfs-ha 配置-搭建
伟红-long-term
07-25 190
需要软件：jdk、hadoop、zookeeper Hadoop-hdfs完全分布式环境搭建，已写jdk、hadoop配置 一、zokeeper集群搭建，四台虚拟机：node1,node2,node3,node4 将zookeeper.tar.gz上传到node2、node3、node4 解压：tar -zxf zookeeper-3.4.6.tar.gz -C /opt 配置环境变量 ）ex...
hadoop-hdfs-ha环境搭建与问题解决
一个小cookie的博客
07-25 407
阿森松岛
hadoop2.6.4-ha集群搭建
04-12
在搭建Hadoop 2.6.4 HA集群之前，我们需要进行以下准备工作： 1. **配置Linux环境**：首先确保所有节点的操作系统版本一致，并且已安装必要的软件包。此外，还需要设置正确的主机名和IP地址映射。 2. **网络配置**...
hadoop - HA 集群搭建.txt 详细过程
02-15
hadoop HA 搭建 包含 hdfs HA 集群搭建 以及yarn HA 集群搭建 适用于hadoop所有版本
HDFS-HA集群
qq_53368181的博客
12-09 850
HDFS-HA自动故障转移工作机制 HA的自动故障转移依赖于ZooKeeper的以下功能： 1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。 2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该..
大数据学习之hdfs HA模式集群搭建
Im_LSY的博客
07-28 286
目录 角色定义 停止之前的集群 对node01，node02机器进行免密操作 zookeeper集群搭建 配置Hadoop的core-site.xml和hdfs-site.xml 分发配置 初始化和启动 角色定义 服务器 NameNode NameNode JournalNode DataNode ZKFC ZOOKEEPER node01 * * * node02 * ...
Hadoop快速入门系列(8) | 搭建HDFS-HA集群
知其然，知其所以然
11-30 208
一. 环境准备 1）修改IP 2）修改主机名及主机名和IP地址的映射 3）关闭防火墙 4）ssh免密登录 5）安装JDK，配置环境变量等 二.规划集群 bigdata111 bigdata112 bigdata113 NameNode...
Hadoop04 Hdfs HA集群搭建
csg103的博客
03-16 176
在集群模式下有一个NameNode,数据磁盘化由SNN去做，高可用模式下有两个(hadoop2.0)或多个（3.0）NameNode ，一个主 其他的是备 ，备用节点可以去做磁盘化。架构如下所示部署架构图利用集群模式修改配置文件首先部署两个NameNode修改配置文件 mycluster为集群名称，根据此名称可以找到其他NameNode。
大数据平台系列：hadoop HDFS HA集群搭建
Gordon_luo的博客
06-24 417
01前言 hadoop是由Apache基金会所开发的一个分布式的大数据计算与存储平台，特点是：可靠性高、易扩展、计算高效与成本低。 它有两个核心项目，其中HDFS负责数据存储，MapReduce负责分布式计算。本文主要讲解HDFS项目的HA架构搭建 本文转自我个人的公众号：天目星 ，请大家多多关注。 一、使用的软件版本与架构图。 l...
HDFS HA 高可用集群搭建
amingo_ss的博客
05-16 726
HDFS HA NameNode高可用集群搭建 主要内容HDFS HA NameNode高可用集群搭建1.安装并配置Zookeeper集群2.配置HDFS（hdfs-site.xml）3.配置Hadoop公共属性（core-site.xml）4.启动HDFS HA高可用集群5.测试NameNode HA自动切换6.常见问题 1.安装并配置Zookeeper集群 参考：https://blog.csdn.net/amingo_ss/article/details/104326593 2.配置HDFS（hdfs
HDFS-HA集群搭建（搭建的时候,请仔细仔细再仔细!!!）
qq_45769990的博客
10-26 226
HA集群的搭建注意事项: 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等 7.注意集群时间要同步 安装步骤： 1.安装配置zooekeeper集群 link 2.安装配置hadoop集群 link 3.修改core-site.xml <configuration> <!-- 集群名称在这里指定！该值来自于hdfs-site.xml中的配置 --> <property
HDFS HA搭建
cjwfinal的博客
08-31 143
HA ZK NN DN RM NM JN ZKFC master 1 1 1 1 1 node1 1 1 1 1 1 1 1 node2 1 1 1 1 1.免密钥 在两个主节点生成密钥文件 ssh-keygen -t rsa ssh-copy-id ip master-->master,node1,node2 node1-->master,node1,node2 2.停止HDFS集群 stop-dfs.sh 3.修改hadoop配置文件 core-site.xml &l
HDFS-HA集群配置实战：从环境准备到Zookeeper集群搭建
配置HDFS HA集群是一项复杂的工作，涉及多个层面的规划和配置。正确执行这些步骤可以确保Hadoop集群在面对单点故障时仍能保持服务的连续性，从而提高整体系统的可靠性。在实际操作中，除了理解这些基本步骤，还需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值