复习记录一：HDFS的高可用

最新推荐文章于 2022-03-05 13:36:12 发布
最新推荐文章于 2022-03-05 13:36:12 发布
阅读量108 收藏
点赞数
分类专栏： 复习 文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45607513/article/details/107180459
版权
组件

zkfc
是基于Zookeeper的故障转移控制器，负责控制NameNode的主备切换。
zkfc会监测NameNode的健康状况，当发现Active NameNode出现故障时，会通过Zookeeper进行一次新的选举，完成active和standby的切换。

HealthMonitor
周期性调用NameNode的HAServiceProtocol RPC，监控NameNode的健康状况，并向zkfc进行反馈。

ActiveStandbyElector
接收zkfc的选举请求，通过Zookeeper自动完成选举，选举完成后，回调zkfc的主备切换方法，完成对NameNode的切换。

共享存储系统
共享存储系统负责存储HDFS的元数据，Active NameNode和Standby NameNode通过共享存储系统实现元数据同步，在主备切换过程中，新的Active NameNode必须确保元数据同步完成才能对外提供服务。

在这里插入图片描述

丿沐染烟忱丶
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hdfs开启高可用+hive报错
02-29
hdfs开启高可用+hive报错
hdfs高可用配置文件
07-06
hdfs高可用配置和相关文件夹的建立，亲测试可用，
HDFS Name Node HA （Resource Manager HA）
别让时光非礼了梦想。
07-06 265
CentOSA CentOSB CentOS 192.168.199.131 192.168.199.132 192.168.199.133 zookeeper zookeeper zookeeper journalnode journalnode journalnode nn1 nn2   zkfc zkf...
HDFS分布式文件系统 理论
weixin_52105111的博客
03-05 762
果然欠下的帐终究还是要还回来的，之前不好好学Hadoop，现在全给补回来，看着这些既熟悉又陌生的知识点，只得静下心好好过一遍，毕竟当初也是只有期末考试之前才集中性背过，那种不结合实践操作的理论背诵是背了就忘，没法理解的。来回顾HDFS的理论部分（安装好HDFS之后再来回顾的） 一.HDFS概述 HDFS 是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行在廉价的商用服务器上。源于GFS，一个GFS的克隆版本。 ...
大数据最佳实践-hdfs
program哲学
04-21 852
提升写性能 dfs.datanode.drop.cache.behind.reads 设置为true表示丢弃缓存的数据（需要在DataNode中配置）。 当同一份数据，重复读取的次数较少时，建议设置为true，使得缓存能够被其他操作使用。重复读取的次数较多时，设置为false能够提升重复读取的速度。 dfs.client-write-packet-size 当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小，可以通过各Job来指定。单位
hadoop集群中zkfc的作用和工作过程
小爷欣欣
05-03 8255
作用：（1）健康检测：zkfc会周期性的向它监控的namenode（只有namenode才有zkfc进程，并且每个namenode各一个）发生健康探测命令，从而鉴定某个namenode是否处于正常工作状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于不健康的状态；（2）会话管理：如果namenode是健康的，zkfc机会保持在zookeeper中保持一个打开的会话，如果namenode是ac...
Hadoop HA集群 NameNode 无法自动故障转移（切换active）两个集群状态都是standby
w11864882596的博客
08-13 970
问题：用 kill -9 进程号 杀死了当前处于active状态的NameNode后，其他的 Standby 状态的NameNode 并没有自动切换为 Active状态，而且重启杀死的 NameNode 后，可能出现所有NameNode节点都变成了 Standby状态的情况，一个Active状态的都没有。 1.在hdfs.site.xml中找sshfence的配置 加入 sshfence shell(/bin/true) /bin/true shell 脚本说明 /bin/true 是 linux 系统自带
复习记录一：Hadoop
weixin_45607513的博客
07-06 139
分布式：服务间出现跨机器、跨进程统称为分布式。 HDFS：分布式存储系统，解决海量数据的存储问题。 Map Reduce：分布式计算框架，基于磁盘进行迭代计算。第一代计算框架 HDFS 组件： NameNode：使用内存存储集群中的元数据。 DateNode：负责响应客户端对数据块的读写请求，向NameNode汇报自身状态信息。 Block：是HDFS切分文件的尺度，默认是128M。 副本因子：HDFS为了防止数据丢失，允许对其进行备份，最多为3个。 组件作用： Client：客户端 文件切分。文件上传H
小青蛙的大数据之路：HDFS从入门到入土
weixin_43299422的博客
05-27 255
HDFS第一部分 HDFS入门阶段第一章 概念1.1 定义1.2 应用场景1.3 优缺点1.4 组成架构第二章 HDFS的数据流2.1 HDFS读数据过程1.2 HDFS写数据过程第三章 对HDFS的操作3.1 HDFS的Shell操作（19个）第二部分 HDFS入土阶段新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的Ka
HDFS追本溯源：HDFS操作的逻辑流程与源码解析
12-09 97
转自：http://www.it165.net/admin/html/201404/2726.html 本文主要介绍5个典型的HDFS流程，这些流程充分体现了HDFS实体间IPC接口和stream接口之间的配合。 1. Client和NN Client到NN有大量的元数据操作，比如修改文件名，在给定目录下创建一个子目录，这些操作一般只涉及Client和NN的交互，通过IPC调...
hdfs：HDFS的本机go客户端
02-03
Go的HDFS 这是hdfs的本地golang客户端。 它使用协议缓冲区API直接连接到namenode。 它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。...
大数据开发：HDFS数据节点与名称节点的通信机制.docx
12-13
HDFS选择分布式CAP定理的可靠性AP是因为，假设客户端向HDFS传输一段数据还要同步等待网络上所有副本节点的复制接收完成，虽然这么做数据完整性很高，保证了分布式复制的一致性（CP）。但是客户端写入过程如果等待...
hdfs：HDFS的API和命令行界面
02-02
HDFS的API和命令行界面。 $ hdfscli --alias=dev Welcome to the interactive HDFS python shell. The HDFS client is available as `CLIENT`. In [1]: CLIENT.list('models/') Out[1]: ['1.json', '2.json'] In ...
独占锁(写锁)/共享锁(读锁)/互斥锁
weixin_45607513的博客
07-29 1797
理论 独占锁：指该锁一次只能被一个线程所持有。对于ReentrantLock和Synchronized而言都是独占锁。 共享锁：该锁可以被多个线程所持有。对于ReentrantReadWriteLock来说，其读锁是共享锁，写锁是独占锁。读锁的共享锁可保证并发读是非常高效的，读写，写读，读读的过程是互斥的。 代码验证 加锁前： package locks; import java.util.HashMap; import java.util.Map; import java.util.concurrent
String中的intern()方法
weixin_45607513的博客
08-19 576
案例 此案例是《深入理解java虚拟机》中的一个案例。 package javase; public class StringPool58Demo { public static void main(String[] args) { String str1 = new StringBuilder("ha").append("llo").toString(); System.out.println(str1); System.out.println(
CAS底层原理
weixin_45607513的博客
07-27 315
CAS cas(比较与替换)。 源码： /** * Atomically sets the value to the given updated value * if the current value {@code ==} the expected value. * * @param expect the expected value * @param update the new value * @return {@code true} if
AQS(AbstractQueuedSynchronizer)
weixin_45607513的博客
08-20 284
前置知识 公平锁和非公平锁、可重入锁、LockSupport、自旋锁、数据结构之链表、设计模式值模板设计模式。 是什么 字面意思是抽象的队列同步器。 源代码结构 AbstractQueuedSynchronizer简称AQS。 技术解释 它是用来构建锁或者其他同步器组件的重量级基础框架及整个JUC体系的基石，通过内置的FIFO队列来完成线程获取资源的排队工作，并通过一个int类型变量表示持有锁的状态。 大致意思就是： 当某个线程抢占锁资源后，其他线程被阻塞，这些被阻塞的线程怎么才能更好的管理呢？就是通过
LockSupport
weixin_45607513的博客
08-20 209
是什么 LockSupport用于创建锁和其他同步类的基本线程阻塞原语。 LockSupport中的park()和unpark()的作用分别是阻塞线程和唤醒阻塞线程。 3中让线程等待和唤醒的方法 方式1：使用Object中的wait()方法让线程等待，使用Object中的notify()方法唤醒线程。 方式2：使用JUC包中的Condition的await()方法让线程等待，使用signal()方法唤醒线程。 方式3：LockSupport类的park方法阻塞线程，unpark方法唤醒线程。 Obje
hdfs高可用集群 连接的url怎么写
最新发布
09-18
HDFS（Hadoop分布式文件系统）是一个高可用的分布式文件系统，通过使用多个数据节点（DataNode）来存储文件的不同副本，保证数据的可靠性和容错性。 要连接HDFS高可用集群，需要使用Hadoop提供的Java API或命令行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值