hadoop 配置HA 重新格式化后 datanode 起不来

一、名词解释

      1、ZKFailoverController（zkfc）

            基于zookeeper的自动检测故障转移

      2、JournalNodes

            两个namenode为了数据同步，会通过一组称作JournalNodes的独立进程互相通信。当active状态的NameNode的命名空间有任何修改时，会通知大部分的JournalNodes进程。standby状态的NameNode有能力读取JournalNode的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。这样standby可以确保在集群出错时，命名空间状态已经完全同步了。

二、操作步骤

        1、启动Namenode 和 StandbyNamenode

                发现两个namenode都是standby状态 ，并有以下出错信息 Get corrupt file blocks returned error: Operation category READ is not supported in state standby

                   

  

这是由于没有启动 JournalNodes进程所致。

 

        2、启动JournalNodes进程

          

          这时发现两个namenode的状态还是没有改变，都是standby状态,重新启动一个namenode发现起不起来；This node has namespaceId '642495001 and clusterId 'CID-794e4217-265a-4de6-8a80-e1f79e02000a' but the requesting node expected '485178166'。这是因为namenode每次格式化都有一个namespaceId,这次格式化的集群引用了上次遗留的datanode上的数据，则需要重新格式化namenode ,并删除datanode和namenode遗留数据。

        3、格式化namenode,(先要启动JournalNodes进程，不然格式化不了)

            hdfs namenode -format

           

         4、启动ZKFailoverController进程（先要启动zookeeper进程）

         5、启动两个namenode ,发现这时已经一个是active,一个是standby状态了

         6、启动datanode进程

             这时会发现ambari页面datanode 进程已经启起来了，查看进程也在，但是查看日志，却发现有错误；

   

     那么原因出在哪呢？