前言
HDFS RBF特性(基于路由的Federation解决方案)已经在Apache Hadoop 3.0.0中正式发布了,此特性的发布将会大大方便于广大用户多于多集群的使用。另一方面来说,面对往后日益扩展,日益多样化的环境,单一,同构化的集群运行模式,不会是一个一劳永逸的方式了,异构,多集群的方式将会是一个趋势。其实在目前发布的版本中,HDFS RBF特性单纯实现了一个最基本功能的版本,里面还有很多地方可以继续完善,使之与当前的HDFS完全匹配,比如目前还没有支持的改进点有例如:webHDFS, 安全认证,Quota配额支持,ACL管控等等。不过不用担心,这些提到的点,社区都将会在RBF第二阶段的工作中进行完善(详见社区JIRA: HDFS-12615,想必听完大家都很期待吧。本文,笔者讲带领大家展望一下这方面的内容。
RBF第二阶段工作概述
由于笔者在过去2个月时间内,一直关注和参与了部分HDFS RBF第二阶段的工作,所以对这块还是比较熟悉的。针对目前第二阶段的工作进展,主要实现或正在实现了下面一些小特性:
已实现的:
- Mount table ACL管理,为每个mount table设置了ACL属性。这样每个用户只能管理自己权利范围之内的挂载点了。
- 全局Quota的支持。这里的Quota值是从各个子集群的Quota值进行汇聚所得。
- Router状态管理。类似于NameNode节点的运行/安全模