DataLight 新增 NameNode 迁移功能（1.0.2 版本）

DataLight 新增 NameNode 迁移功能（1.0.2 版本）

亲爱的 DataLight 用户们，

我们非常兴奋地向大家宣布 DataLight 平台的最新版本（1.0.2）发布。在本次更新中，我们引入了全新的 NameNode 迁移功能，这将极大提升您在使用 HDFS 时的灵活性和数据管理效率。

1. 为什么需要 HDFS NameNode 迁移？

在分布式存储系统中，NameNode 负责管理 HDFS 文件系统的元数据，是系统的核心。为了确保系统的高可用性和可扩展性，能够灵活迁移 NameNode 是至关重要的。通过 NameNode 迁移功能，您可以在以下场景中受益：

• 硬件维护和升级：在不影响业务连续性的情况下，进行硬件维护或升级。
• 负载均衡：通过迁移 NameNode 到更有效的节点，分散负载，提升系统整体性能。
• 节点变更：因业务变动，需要将 NameNode 节点进行迁移时，可以快速通过该流程完成集群业务变更。

2. 页面操作流程

2.1 进入 HDFS 组件管理功能

前往服务管理功能，在服务列表中，找到 HDFS 服务，并单击“组件管理”，如下图所示。

2.2 开始 NameNode 迁移引导

在 HDFS 组件管理页面中，单击“NameNode 迁移”开始迁移引导，如下图所示。

2.3 停止待迁移 NameNode 组件

在引导页面中，按照第一步操作的描述，首先停止待迁移的NameNode组件，停止后，方可选择，如下图所示。

执行进度：

2.4 删除待迁移 NameNode 组件

将停止后的 NameNode 组件删除，如下图所示。

然后选择该 NameNode，并执行下一步，如图所示。

2.5 停止待迁移 ZKFC 组件

与刚才对待迁移 NameNode 的操作类似，执行停止 ZKFC 操作，如下图所示。

执行结果：

2.6 删除待迁移 ZKFC 组件

删除刚才停止后的 ZKFC 组件，如图所示。

删除后，选中待迁移的 ZKFC 组件，并单击“下一步”。

2.7 选择迁移的目标节点

此时，需要选择待迁移组件需要迁移到什么目标节点，选择完成后，单击“下一步”，开始执行迁移部署。

2.8 迁移执行进度

在迁移部署执行过程中，可以查看进度信息，以及相关日志。

迁移部署执行完成，如下图所示。

2.9 同步配置文件

对于迁移后的 NameNode 组件，其配置文件将会发生变更，需要同步修改集群中旧的配置文件到最新配置。

此处，只需要单击“同步最新配置文件”即可。该页面通过差异对比的方式，让用户能够预览将要发生修改的具体内容。

2.10 重启 HDFS 服务

配置修改完成后，根据提示，需要重启相应组件，如下图所示。

用户可以根据自己的业务情况来决定何时重启，以及以什么样的方式重启。

DataLight 平台支持两种重启方式：
并发重启：按照既定优先级，并发重启服务下所有组件。
滚动重启：按照既定优先级，一个接一个的重启所有组件，可满足业务不停机。

2.11 检查迁移结果

通过 HDFS 组件 UI 查看迁移结果，如下图所示。

Active NameNode：

Standby NameNode：

通过监控查询 HDFS 集群当前状况。

至此，NameNode 迁移工作已全部完成。

3. 如何增量更新已有 DataLight 平台

对于已经部署 DataLight 的用户，升级到本次发布的 DataLight-1.0.2 版本，可通过如下操作进行。

3.1 停止 Master 进程

进入主节点，通过以下命令停止 Master 进程：

/opt/datalight/bin/datalight.sh stop master

注：Master 进程所在节点称之为主节点，下同

3.2 更新 Master 程序包

前往百度网盘，下载最新的 DataLight-1.0.2 程序包，名称为：services-master-1.0.2.jar，或自行通过源码编译，然后删除 /opt/datalight/app 目录下原有的 master jar 包，并上传最新 master jar 包到服务器。

3.3 更新 HDFS 服务配置文件

前往百度网盘或开源社区，覆盖更新主节点 /opt/datalight/conf/service 目录下 HDFS.yaml 配置文件。

3.4 更新 HDFS plugins 插件脚本包

前往百度网盘或开源社区，使用最新的 HDFS 插件脚本，覆盖更新主节点 /opt/datalight/plugins/HDFS/scripts 目录下所有脚本。

3.5 手动分发到所有节点

通过 scp 或其他同步命令，将上述更新内容由主节点推送至其他从节点。

3.6 重新启动 Master 进程

进入主节点，通过以下命令停止 Master 进程：

/opt/datalight/bin/datalight.sh start master 8001

4. 更新日志

• ADD：新增 NameNode 迁移功能
• FIX：在节点初始化工具脚本中，添加关于 HDFS NN 自动切换所需的脚本工具 fuster(psmisc)，涉及脚本: init-yum-install.sh；

---

感谢您一直以来对 DataLight 的支持和信任。DataLight 将为您带来更加智能和高效的数据管理体验。期待您的使用和反馈！

​ ——DataLight 团队

---

关注我们，获取更多最新资讯：

微信公众号：

QQ 交流群：

微信交流：

一起见证数据世界的无限可能！

开源协议

本项目采用 Apache 2.0 开源协议。有关详细内容，请查看 Apache 2.0 LICENSE。