HDFS——JN扩容的正确姿势

【前言】

---

有一段时间没有更文了，一方面是之前准备的hudi系列由于一些细节还没研究得很清楚，暂时没有继续更新。另一方面，最近事情相当多，回家后收拾收拾就十一二点了，也就没有再进行总结输出了。

不过，最近还是囤积了不少可以总结复盘的知识点，后续不管怎样还是尽量保证一周至少一篇原创文章，倒逼自己总结输出~

本文来聊聊HDFS里面，如果正确将JN从一个节点扩容到多个节点。

可能有的小伙伴会好奇，怎么会有这种需求或场景，需要将JN从一个节点扩容到3个以上的节点。

实际可能的情况是：在资源不够充足的情况下，整体部署舍弃一部分服务的高可用，例如NN还是以HA模式部署，但JN仅部署1个。此后，可能条件富裕了，相应的高可用也就需要做得更完善些，这个时候就需要将JN从1个节点扩容到3个及以上的节点。

【理想中的扩容步骤】

---

咋一看，JN的扩容应该是一件很简单的事情，涉及的操作步骤为：

第一步：新增多个节点，并部署启动JN

第二步：在NN的配置中添加新的JN的IP

第三步：重启NN，就可以完成JN的扩容操作了

操作步骤及流程看似没有什么问题，但结果却不是我们所期望的。实际上，NN重新启动后，会持续报错并抛出异常，最终自行结束，其报错信息为：

172.168.3.12:8485: Journal Storage Directory /home/hncscwc/hadoop/dfs/journal/hdfsHACluster not formatted
        at org.apache.hadoop.hdfs.qjournal.server.Journal.checkFormatted(Journal.java:480)
        at org.apache.hadoop.hdfs.q