- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Router RPC 隔离实现
综述Router RPC 隔离主要是为了最大限度地减少客户端连接到不健康集群带来的影响，防止连接不健康的集群导致正常集群无法使用的情况。社区分了两个阶段来进行实现。阶段一由HDFS-14090{状态: RESOLVED}完成：此阶段主要的功能是为Router管理的每一个NS设置固定的可处理此NS的Handler数。当处理此NS的Handler数达到设置值时抛出异常，让客户端重试尽可能的减少对其它NS的影响。阶段二由HDFS-14749{状态: OPEN}来完成，此阶段主要是为了可以动态调整各NS可使用的
2021-09-06 21:48:07
556
原创 玩转java线程池之ThreadPoolExecutor
文章目录玩转java线程池之ThreadPoolExecutor概述线程池的优点总体设计ThreadPoolExecutor 实现线程池的核心参数总体架构线程池的生命周期线程池的执行流程线程池的线程管理**Worker线程增加****Worker线程执行任务****Worker线程回收**线程池的feature总结：补充参考：玩转java线程池之ThreadPoolExecutor概述线程采用池化的思想，帮助我们管理线程而获取并发性的工具。线程池主要关心的是任务的调度和线程资源的管理这两件事情。线程池
2021-07-19 21:41:22
723
原创 HDFS Disk Balancer
概述DiskBalancer是一个命令行工具，可在DataNode的所有磁盘上均匀分发数据。 此工具对给定的DataNode进行操作，并将块从一个磁盘移动到当前DataNode的另一个磁盘。DiskBalancer通过创建计划并继续在DataNode上执行该计划。 计划是一组陈述，描述了两个磁盘之间应该移动的数据。 计划由多个移动步骤组成。 移动步骤具有源磁盘，目标磁盘和移动的字节数。 可以针对运行数据节点执行计划。DiskBalancer是一个相对独立的线程，它可以对数据的复制进行限流。 集群默认是.
2021-07-14 21:56:58
1353
原创 Observer Node [SBN-READ] 原理及实现分析
Observer Node [SBN-READ] 原理及实现分析概述为了提升集群的吞吐、减轻Active Name负载压力，社区提出了Observer Read的设计。Observer Read是尽可能的将读请求发送到新加入集群的Observer节点来达到提升集群吞吐的目的。但是节点间元数据的同步是有一定有延时的，所以对于Observer读会存在数据一致性的问题。社区提出了元数据的一致性模型，解决了元数据同步的问题，基于此我们看一下社区的处理方式及对应的代码实现。背景HA架构中的HDFS
2021-05-12 17:03:30
1282
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人