由于格式(format)多次namenode造成的集群id(ClusterID)不一致问题

  • 高可用集群(ha集群),有两个namenode,一个active状态,一个standby状态。

              1,当配置好第一个namenode后,第一次启动第一台namenode:hadoop-daemon.sh start namenode

              2,第一次格式化namenode会产生集群ID(ClusterID):hdfs namenode -format

              3,在另一台namenode执行:hdfs namenode -bootstrapStandby 同步集群ID到第二台namenode, 

                     同步信息:

                     About to bootstrap Standby ID nn2 from:
                               Nameservice ID: mycluster
                            Other Namenode ID: nn1
                      Other NN's HTTP address: http://node1:50070
                      Other NN's IPC  address: node1/192.168.189.21:8020
                                 Namespace ID: 1160820497
                                Block pool ID: BP-1577107106-192.168.189.21-1505838743020
                                   Cluster ID: CID-15b7c15c-f04c-4562-bf6c-30885d98427a
                               Layout version: -60
                           isUpgradeFinalized: true

  • 问题:再次或多次对namenode格式化format后,会生成新的集群ID,其他节点的进程的集群ID却还是第一次格式化同步后的,集群ID版本不一致,不匹配,
  • 导致start-all.sh时第二台namenode不能启动,三个datanode也不能启动,即便在各自单独节点上能够启动,但在web端访问时,三个datanode节点进程都不能正常显示,第二台standby状态的namenode也不能访问
  • 解决办法:
                       1,将第一个active状态的namenode节点 /var/sxt/hadoop/ha/dfs/name/current(这个目录是各自创建的,每个人可能不同) 版本目录下的VERSION文件中                           的 Cluster ID复制更新到每个节点进程的VERSION文件里,更新 Cluster ID值,使其与第一台namenode的集群id版本一致。这种方法比较麻烦,还容易出错,因为我                发现不但要改第二个namenode进程的VERSION里的 Cluster ID,三个datanode进程和三个journalnode进程的VERSION里的 Cluster ID都需要修改为同一个版本,所                以容易漏掉修改哪个进程的 Cluster ID,除此之外,我还发现,同步信息中的Namespace ID和Block pool ID版本也一致(第二种解决办法发现的),所以修改的地方比较               多,容易出错,并且这种方法我也没验证成功,按理是可以的。
                        2,删除所有节点版本目录下dfs目录下生成的文件,重新在第二个namenode上执行同步hdfs namenode -bootstrapStandby 即可
                              /var/sxt/hadoop/ha/ dfs/ name/current
                              /var/sxt/hadoop/ha/ dfs/ data/current
                              我这里删除的文件是dfs下的文件,包括name文件夹和data文件夹
                              每个人的版本目录各异,因为var目录是自定义创建,然后在core-site.xml中配置的,删除时依情况而定
                                
              

           

               


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱若手握流沙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值