惊心动魄的Hadoop-6小时350T数据恢复

这次文章是记录一下数据恢复。

上周五在调试Spark数据的时候发现了一个问题，就是一直显示No lease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。我们的小时程序Spark，有的单个key数据重复导致value值增大，程序运行卡住，根据网上查的参数进行调整。

Hadoop

在调整前，将Hadoop进行关闭 .

stop-all.sh 进行关闭

1. 我们在第一步进行关闭的时候这里就出现问题。。。关闭hadoop.sh 出现异常，关闭失败。只好使用linux 上的kill 强制杀死所有的关于hadoop有关的进程。
2. 重新启动出现错误，一直启动不起来。这个错误应该是同步数据 的问题。hadoop 在线上没有停止的时候就出现错误了
3. 解决上面的问题 ，查阅资料 。。重点，*网上给的方案是./hadoop namenode format*，我当时都没细看。。原谅我这个渣渣。
4. 执行之后我的一个主节点的namenode 里面存储的数据删除了。好吧当时心凉了。给运维打电话联系，说恢复不了。在这里心更凉。
   5.最终没有棒法开始从网上找方案恢复。网上说到 namenode数据是可以恢复的。因为是集群 有两个namenode，可以做同步进行操作。

现在开始说下怎么弄，当然这个方案会丢失一部分数据，这也是没有办法的事情。幸好丢失的数据还可以通过原先的数据跑回来。万幸。

数据恢复。

1. 在Hadoop中，我们可以看到有三个关注的地方
   
   • 数据存储目录下的