![](https://img-blog.csdnimg.cn/20210714220115501.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据存储之HDFS
文章平均质量分 91
HDFS学习笔记及源码分析
晴天1993
摸爬滚打,不断提升自己!
展开
-
Router RPC 隔离实现
综述Router RPC 隔离主要是为了最大限度地减少客户端连接到不健康集群带来的影响,防止连接不健康的集群导致正常集群无法使用的情况。社区分了两个阶段来进行实现。阶段一由HDFS-14090{状态: RESOLVED}完成:此阶段主要的功能是为Router管理的每一个NS设置固定的可处理此NS的Handler数。当处理此NS的Handler数达到设置值时抛出异常,让客户端重试尽可能的减少对其它NS的影响。阶段二由HDFS-14749{状态: OPEN}来完成,此阶段主要是为了可以动态调整各NS可使用的原创 2021-09-06 21:48:07 · 531 阅读 · 0 评论 -
HDFS Disk Balancer
概述DiskBalancer是一个命令行工具,可在DataNode的所有磁盘上均匀分发数据。 此工具对给定的DataNode进行操作,并将块从一个磁盘移动到当前DataNode的另一个磁盘。DiskBalancer通过创建计划并继续在DataNode上执行该计划。 计划是一组陈述,描述了两个磁盘之间应该移动的数据。 计划由多个移动步骤组成。 移动步骤具有源磁盘,目标磁盘和移动的字节数。 可以针对运行数据节点执行计划。DiskBalancer是一个相对独立的线程,它可以对数据的复制进行限流。 集群默认是.原创 2021-07-14 21:56:58 · 1311 阅读 · 0 评论 -
Observer Node [SBN-READ] 原理及实现分析
Observer Node [SBN-READ] 原理及实现分析概述为了提升集群的吞吐、减轻Active Name负载压力,社区提出了Observer Read的设计。Observer Read是尽可能的将读请求发送到新加入集群的Observer节点来达到提升集群吞吐的目的。但是节点间元数据的同步是有一定有延时的,所以对于Observer读会存在数据一致性的问题。社区提出了元数据的一致性模型,解决了元数据同步的问题,基于此我们看一下社区的处理方式及对应的代码实现。背景HA架构中的HDFS原创 2021-05-12 17:03:30 · 1229 阅读 · 0 评论