HDFS Router-based Federation

最新推荐文章于 2024-07-02 07:54:28 发布

小米技术

最新推荐文章于 2024-07-02 07:54:28 发布

阅读量2.7k

点赞数 1

文章标签：云技术 IT 研发云计算 RD

本文链接：https://blog.csdn.net/pengzhouzhou/article/details/95503604

版权

本文介绍了HDFS Router-based Federation架构，旨在解决HDFS横向扩展的问题。文章详细阐述了Router的角色，包括挂载表解析、RPC转发、State Store、安全性和其他特性，并探讨了社区实践和未来的发展方向。

摘要由CSDN通过智能技术生成

Abstract

Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。Router 将挂载表从 Client 中抽离了出来，解决了挂载表不一致的问题，本篇文章就会介绍 HDFS Router-based Federation 的架构和特性。

Background

在 HDFS 单集群的架构中，随着集群规模的扩大，Block Manager 和Namespace 会消耗掉 NameNode 越来越多的资源，最终导致NameNode 难以提供可靠的服务。于是就提出了 Federation 架构。

Federation 架构是指由多个子集群联合构成一个 Federation 集群，通常的做法是这些子集群会共享 Datanode.然后由挂载表来维护Federation Namespace 到子集群 Namespace 间的映射关系，这个挂载表存在客户端本地的配置文件里，由客户端来解析从而访问到正确的子集群。在社区的实现中，用了一个新的协议 viewfs:// 来访问Federation Namespace.

小米内部对 Federation 实现做了很多优化。为了提高用户易用性，让用户配合集群迁移，我们尽可能的对用户屏蔽细节，实现访问Federation 集群和普通集群不需要用户修改代码甚至配置，