HDFS3.2升级在滴滴的实践

桔妹导读：Hadoop 3的第一个稳定版本在2017年底就已经发布了，有了很多重大的改进。在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Intra-datanode balancer 等功能，大家可能对这些功能很感兴趣，打算将集群升级到HDFS 3.x 版本。本篇文章会介绍我们是如何将 HDFS 从2.7滚动升级到3.2版本的，在升级中会遇到哪些问题以及我们是如何解决掉的。HDFS 升级过程漫长，但是收益是非常多的。在此基础上，我们可以继续做非常有意义的工作，持续在稳定性、性能、成本等多个方面深入探索，使用技术为公司创造可见的价值。

1.

为什么要升级

---

在2017年底， Hadoop3.0 发布了，到目前为止， Hadoop 发布的最新版本为3.2.1。在 Hadoop3 中有很多有用的新特性出现，如支持 ErasureCoding、多 NameNode、Standby NameNode read、DataNode Disk Balance、HDFS RBF 等等。除此之外，还有很多性能优化以及 BUG 修复。

其中最吸引我们的就是 ErasureCoding 特性，数据可靠性保持不变的情况下可以降低数据的存储副本数量，结合公司的降成本目标以及用户的痛点，我们对此做了深入的调研。同时，在实际工作中我们发现，我们遇到的一些 BUG 以及想做的一些优化点，社区早已经修复或者实现。内部使用的 Hadoop 版本对应社区的2.7.2，由于社区很多 BUG 修复是不会移植到太低版本的，我们解决问题时花费了较多精力在移植与测试验证中。

如果升级到 HDFS3.2 版本，可以站在巨人肩膀上继续工作，做一些更有意义的事情。

2.

调研升级方案  

---

升级方式有两种：Express 和 Rolling，Express 升级过程是停止现有服务，然后使用新版本启动服务；Rolling 升级过程是滚动升级，不停服务，对用户无感知。对于公司来说，当然滚动升级是最好的方案，离线集群用户非常之多，影响面非常之大。

目前业界还没有滚动升级的方案从2.x 版本升级到3.x 版本，Cloudera 和 Hontonworks 公司（目前两个公司已合并）给出的推荐方案仍然是 Express 升级，例如 Ho