菜鸟进阶大数据第三天（SecondaryNamenode----持久化）

Namenode掌握一批元数据放在内存里
内存分为硬盘（内存大，便宜，但是慢）和内存（内存小，贵，但是速度快）

为了保证元数据的安全----将内存中的数据存放在磁盘中的行为就是持久化

当我们的集群因断电等特殊原因产生问题的时候，问题解决，重新开机，会去磁盘上读取元数据，恢复到断电前的状态

Namenode不能做持久化的原因
可以做:需求小，占用内存小，不影响计算效率时。
不可以做:NN本身的工作已经够多了，所以就存在在持久化的过程中宕机。
备注：SNN永远也无法取代NN的位置，他只是NN的一个热备。
上一个自己画的一个简易图，可以试着理解一下

持久化的触发条件
超过3600s或者edits的大小超过64M
当然这两个数值都是可以通过后期去优化
总结:持久化是不是可以理解为就是将NN的元数据写入到磁盘中进行存储，当NN挂了之后重启的时候会去磁盘中读取相应的元数据，恢复集群的状态----（内存断电丢失）
而断电的情况
持久化之前—再次启动，读取系统日志
持久化之后—读取磁盘内的数据，恢复状态而重复断电的情况
NN和DN的通信机制—心跳机制(每隔3S，DN会向NN发送一次心跳 1分钟没有心跳则认为DN挂掉了）

安全模式：
1：恢复系统状态
2：检查DN的信息
3：有问题的DN进行修复
①：在传输的过程中断电—数据丢失 如果数据特别重要，那只能提前进行预判，进行相应的调整。
②：传输完成之后断电，当我的集群重新回复之后，NN是不是会去读取元数据，对状态进行相应的回复
③：若DN出现问题—则在DN恢复之后。如果新的任务，根据情况，确定是否将新的文件进行上传

如图所示
当上传block1的时候DN3挂掉，当前任务不会再上传，当DN3恢复之后，则相当于一个新的节点，新的文件上传的时候才会写入到回复的DN3上，当要计算DN3上的挂掉之前的数据的时候，会去1,2上去寻找。