Hadoop 3.2.1‖联邦模式下突破router的性能瓶颈的实践

上期回顾：

在第一期（点击可参阅详情）中，我们通过性能故障排查解决了Hadoop2.6.0版本的瓶颈问题；
在第二期（点击可参阅详情）中，我们将集群由Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式，解决了Hadoop的第二次瓶颈；
本次，我们将分享一下在联邦模式下如何解决router延迟较大的问题。
下面，enjoy：

一、基于非联邦和联邦模式的测试

在成功将Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式后，当前集群等于有了两个Namenode，不仅总的节点数扩展到了900+，系统的运行也顺畅了许多。

但是两个月后，随着客户每日新增数据的不断攀升，系统所承载的数据总体量也随之愈来愈大，我们发现router出现了延迟较大的问题。

基于此，我们准备在非联邦和联邦模式之下进行对比测试，我们首先将当前集群分为两个子集群，分别为cluster1，cluster2。随后我们对同一组文件的各种操作进行了测试。测试目录为/data/test，当前目录挂载的router的/data/test，并在cluster1的/data/test。

测试结果如下：

1.非联邦模式（cluste