走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

聊聊RPC的拥塞控制

前言 这个话题的背景源自于Hadoop内部的底层RPC处理过程,但是笔者认为针对所有其它RPC处理场景中也会碰到类似的拥塞问题,所以可以拿出来简单讲讲。首先来解释一下这里的名词,这里的RPC拥塞指的是系统被大量的用户特定的请求堵住了,导致没办法有资源来处理其它用户的正常请求,这里我们假设请求...

2018-06-29 18:24:07

阅读数:4404

评论数:0

HDFS FoldedTreeSet的引入以及FBR优化处理

前言 在现有HDFS处理FBR(全量块汇报)逻辑中,处理开销是比较高的,尤其当集群中有大量块的时候。对此,社区在HDFS-9260中提出了一种新的树型结构来优化这块的处理。它本质上是一种排序好的Set集合,名为FoldedTreeSet。 FoldedTreeSet的作用 社区在实现...

2018-06-17 15:34:48

阅读数:509

评论数:0

提示
确定要删除当前文章?
取消 删除