复习记录一：HDFS的高可用

最新推荐文章于 2024-01-07 19:19:45 发布
最新推荐文章于 2024-01-07 19:19:45 发布
阅读量125 收藏
点赞数
分类专栏： 复习 文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45607513/article/details/107180459
版权
本文深入探讨了HDFS的高可用机制，介绍了zkfc作为故障转移控制器的作用，以及HealthMonitor和ActiveStandbyElector在NameNode主备切换中的关键角色。同时，阐述了共享存储系统如何保障元数据的同步，确保服务的连续性和数据一致性。
摘要由CSDN通过智能技术生成
组件

zkfc
是基于Zookeeper的故障转移控制器，负责控制NameNode的主备切换。
zkfc会监测NameNode的健康状况，当发现Active NameNode出现故障时，会通过Zookeeper进行一次新的选举，完成active和standby的切换。

HealthMonitor
周期性调用NameNode的HAServiceProtocol RPC，监控NameNode的健康状况，并向zkfc进行反馈。

ActiveStandbyElector
接收zkfc的选举请求，通过Zookeeper自动完成选举，选举完成后，回调zkfc的主备切换方法，完成对NameNode的切换。

共享存储系统
共享存储系统负责存储HDFS的元数据，Active NameNode和Standby NameNode通过共享存储系统实现元数据同步，在主备切换过程中，新的Active NameNode必须确保元数据同步完成才能对外提供服务。

在这里插入图片描述

丿沐染烟忱丶
关注
专栏目录
Hadoop 复习整理（HDFS）
rencheng的博客
02-12 477
HDFS 分布式文件系统 基本原理：将文件切分成等大的数据块，分别存储在多台机器上；每个数据块存在多个备份；将数据切分、容错、负载均衡等功能透明化。 namenode: 管理文件系统的命名空间,它维护着文件系统树及整棵树内所有的文件和目录.      包含两个文件：命名空间镜像文件(fs-image：是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系...
HDFS文件读写剖析
lishinho的博客
05-03 607
一，
HDFS Name Node HA （Resource Manager HA）
别让时光非礼了梦想。
07-06 302
CentOSA CentOSB CentOS 192.168.199.131 192.168.199.132 192.168.199.133 zookeeper zookeeper zookeeper journalnode journalnode journalnode nn1 nn2   zkfc zkf...
HDFS分布式文件系统 理论
weixin_52105111的博客
03-05 808
果然欠下的帐终究还是要还回来的，之前不好好学Hadoop，现在全给补回来，看着这些既熟悉又陌生的知识点，只得静下心好好过一遍，毕竟当初也是只有期末考试之前才集中性背过，那种不结合实践操作的理论背诵是背了就忘，没法理解的。来回顾HDFS的理论部分（安装好HDFS之后再来回顾的） 一.HDFS概述 HDFS 是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行在廉价的商用服务器上。源于GFS，一个GFS的克隆版本。 ...
大数据最佳实践-hdfs
program哲学
04-21 1104
提升写性能 dfs.datanode.drop.cache.behind.reads 设置为true表示丢弃缓存的数据（需要在DataNode中配置）。 当同一份数据，重复读取的次数较少时，建议设置为true，使得缓存能够被其他操作使用。重复读取的次数较多时，设置为false能够提升重复读取的速度。 dfs.client-write-packet-size 当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小，可以通过各Job来指定。单位
hadoop集群中zkfc的作用和工作过程
小爷欣欣
05-03 8336
作用：（1）健康检测：zkfc会周期性的向它监控的namenode（只有namenode才有zkfc进程，并且每个namenode各一个）发生健康探测命令，从而鉴定某个namenode是否处于正常工作状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于不健康的状态；（2）会话管理：如果namenode是健康的，zkfc机会保持在zookeeper中保持一个打开的会话，如果namenode是ac...
Hadoop HA集群 NameNode 无法自动故障转移（切换active）两个集群状态都是standby
w11864882596的博客
08-13 1201
问题：用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的NameNode 并没有自动切换为 Active状态，而且重启杀死的 NameNode 后，可能出现所有NameNode节点都变成了 Standby状态的情况，一个Active状态的都没有。 1.在hdfs.site.xml中找sshfence的配置 加入 sshfence shell(/bin/true) /bin/true shell 脚本说明 /bin/true 是 linux 系统自带
复习记录一：Hadoop
weixin_45607513的博客
07-06 179
分布式：服务间出现跨机器、跨进程统称为分布式。 HDFS：分布式存储系统，解决海量数据的存储问题。 Map Reduce：分布式计算框架，基于磁盘进行迭代计算。第一代计算框架 HDFS 组件： NameNode：使用内存存储集群中的元数据。 DateNode：负责响应客户端对数据块的读写请求，向NameNode汇报自身状态信息。 Block：是HDFS切分文件的尺度，默认是128M。 副本因子：HDFS为了防止数据丢失，允许对其进行备份，最多为3个。 组件作用： Client：客户端 文件切分。文件上传H
小青蛙的大数据之路：HDFS从入门到入土
weixin_43299422的博客
05-27 674
HDFS第一部分 HDFS入门阶段第一章 概念1.1 定义1.2 应用场景1.3 优缺点1.4 组成架构第二章 HDFS的数据流2.1 HDFS读数据过程1.2 HDFS写数据过程第三章 对HDFS的操作3.1 HDFS的Shell操作（19个）第二部分 HDFS入土阶段新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的Ka
HDFS追本溯源：HDFS操作的逻辑流程与源码解析
赶路人儿
04-24 1146
本文主要介绍5个典型的HDFS流程，这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。 1. Client和NN       Client到NN有大量的元数据操作，比如修改文件名，在给定目录下创建一个子目录，这些操作一般只涉及Client和NN的交互，通过IPC调用ClientProtocol进行。创建子目录的逻辑流程如下图： 从图中可见，创
大数据基础期末复习（速成不挂科版）
最新发布
06-28
9. **UMP 系统**：一个基于MySQL的云数据库系统。 - **依赖的开源组件**：Mnesia、RabbitMQ、ZooKeeper、LVS。 - **ZooKeeper 的作用**：全局配置服务器、提供分布式锁、监控MySQL实例。 - **保证数据安全的机制*...
大数据导论期末复习知识汇总
m0_73251409的博客
01-07 2153
大数据导论我是按照这个复习的。大数据导论概述、大数据导论核心技术概述、物联网大数据云计算、数据安全与共享、推荐方法等知识汇总
大数据期末复习题
weixin_43207467的博客
12-18 4184
大数据课程复习题 大数据的定义 大数据，指的是所涉及的资料量规模巨大到无法通过目前的主流软件工具，在合理 时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资 讯。 大数据的三个特点 3Vs： -Volume（大量）数据量大，从 TB 级别跃升到 PB 级别 -Variety（多样）数据类型繁多 ·非结构化：文本、图形、声音等 ·半结构化：日志 ·结构化数据：行列规整的表单...
独占锁(写锁)/共享锁(读锁)/互斥锁
weixin_45607513的博客
07-29 1853
理论 独占锁：指该锁一次只能被一个线程所持有。对于ReentrantLock和Synchronized而言都是独占锁。 共享锁：该锁可以被多个线程所持有。对于ReentrantReadWriteLock来说，其读锁是共享锁，写锁是独占锁。读锁的共享锁可保证并发读是非常高效的，读写，写读，读读的过程是互斥的。 代码验证 加锁前： package locks; import java.util.HashMap; import java.util.Map; import java.util.concurrent
String中的intern()方法
weixin_45607513的博客
08-19 618
案例 此案例是《深入理解java虚拟机》中的一个案例。 package javase; public class StringPool58Demo { public static void main(String[] args) { String str1 = new StringBuilder("ha").append("llo").toString(); System.out.println(str1); System.out.println(
AQS(AbstractQueuedSynchronizer)
weixin_45607513的博客
08-20 352
前置知识 公平锁和非公平锁、可重入锁、LockSupport、自旋锁、数据结构之链表、设计模式值模板设计模式。 是什么 字面意思是抽象的队列同步器。 源代码结构 AbstractQueuedSynchronizer简称AQS。 技术解释 它是用来构建锁或者其他同步器组件的重量级基础框架及整个JUC体系的基石，通过内置的FIFO队列来完成线程获取资源的排队工作，并通过一个int类型变量表示持有锁的状态。 大致意思就是： 当某个线程抢占锁资源后，其他线程被阻塞，这些被阻塞的线程怎么才能更好的管理呢？就是通过
CAS底层原理
weixin_45607513的博客
07-27 347
CAS cas(比较与替换)。 源码： /** * Atomically sets the value to the given updated value * if the current value {@code ==} the expected value. * * @param expect the expected value * @param update the new value * @return {@code true} if
LockSupport
weixin_45607513的博客
08-20 247
是什么 LockSupport用于创建锁和其他同步类的基本线程阻塞原语。 LockSupport中的park()和unpark()的作用分别是阻塞线程和唤醒阻塞线程。 3中让线程等待和唤醒的方法 方式1：使用Object中的wait()方法让线程等待，使用Object中的notify()方法唤醒线程。 方式2：使用JUC包中的Condition的await()方法让线程等待，使用signal()方法唤醒线程。 方式3：LockSupport类的park方法阻塞线程，unpark方法唤醒线程。 Obje
公平锁/非公平锁/可重入锁/递归锁/自旋锁
weixin_45607513的博客
07-28 238
公平和非公平锁 公平锁：是指多个线程按照申请锁的顺序获取锁。先来后到。 非公平锁：是指多个线程获取锁的顺序并不是按照申请锁的顺序，有可能后申请的线程比先申请的线程优先获取锁，在高并发下，有可能会造成优先级反转或者饥饿现象。 非公平锁的优点在于吞吐量比公平锁大。 ReentrantLock默认是非公平锁 Lock lock = new ReentrantLock(); public ReentrantLock() { sync = new NonfairSync(); } 其有
配置Hadoop HA高可用：hdfs-site.xml详解
"本文将详细介绍如何配置Hadoop HA（高可用性）集群，特别是关于hdfs-site.xml文件中的关键配置项，以确保数据节点的稳定性和NameNode的冗余，从而提高整个Hadoop集群的可靠性。" 在Hadoop HA环境中，为了实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值