NameNode主要功能:
1、NameNode主要功能:接受客户端的读写服务
2、NameNode保存metadata信息:
- 文件owership和permissions
- 文件包含哪些块
- Block保存在那个DataNode上(DameNode启动的时候主动把block汇报给NameNode)。
3、NameNode的metadata信息会在启动后加载到内存中:
- metadata存储到磁盘文件名为"fsimage"(做持久化操作,存储文件owership和permissions和文件包含哪些块)
- Block的位置信息不会保存到fimage
- edits(日志)记录对metadata的操作日志中 (在持久化操作的间隔中使用的)
SecondaryNameNode(hadoop1.0版本存在)介绍:
1、它不是NameNode的备份(但可以做备份),它的主要工作时帮助NameNode合并edits日志和fimage,
减少NameNode启动时间。
2、SNN执行合并时机
- 根据配置文件设置的时间间隔 fs.checkpoint.period 默认3600秒。
- 根据配置文件设置edits日志大小 fs.checkpoint.size 规定edits文件的最大默认值64MB。
DataNode介绍:
1、存储数据(block)
2、启动DataNode线程的时候会向NameNode汇报block信息。
3、通过向NameNode发送心跳保持与其联系(3秒一次),如果NameNode10分钟没有收到DataName的心跳,
则认为其已经lost,并copy其上的block到其他DataName上。