大数据学习之hadoop——08NameNode、DataNode工作机制、原理

NameNode原理

1、磁盘与内存

在NameNode开始服务时，将会读取磁盘上的edits，fsimage文件，在内存(缓存)使用这些数据
读到内存中使用的原因：和磁盘多次交互会导致效率变低，从内存增删改查则是高效的选择（例：对文件进行2000000次相同内容的删除增加，在内存中执行此操作，到最后到磁盘上的结果就是什么都没发生）

2、NameNode运行原理

• edits：编辑日志（操作过程数据）
• fsimages：镜像文件（某一时刻的完整状态，HDFS只会保存最新的两个镜像文件）

2.1、在hdfs第一次启动时，会在name目录下创建edits和fsimage文件。在之后的启动过程中，HDFS会把磁盘中最新的fsimage文件和edits文件加载到内存中，并且同时创建edits.inprogress文件。
2.2、edits文件分为两种，正在运行的文件系统将操作存储至edits_improgressxxx文件，在集群关闭或者进行滚动日志时该文件将转化为edits_xxx文件，如果是日志滚动将会生成新的edits_improgressxxx文件
2.3、例2：有一家公司的财务需要每两个月清算一下账单，清算结束后将结果布告。在这两个月中公司的所有进出账都会进行记录，并且浮动资金超过30%就要清算一次变成小账本，所以这两个月中可能只有一个小账本也可能有多个小账本。到了两个月就将所有小账本其合并至总账单中。如果工商局在一个半月的时候突然要求查看所有账单，那么进行合并将会是上次结算的总账单&#x