零基础大数据HADOOP学习-笔记2-HDFS深入学习

一、HDFS深入
1、namenode 和 datanode功能

【namenode】
接收用户操作请求 
管理文件与block之间关系，
block与datanode之间关系 
namenode管理：namenode支持对HDFS中的目录、文件和块做类似文件系统的创建、
修改、删除、列表文件和目录等基本操作。 
块存储管理 在整个HDFS集群中有且只有唯一一个处于active状态namenode节点，该
节点负责对这个命名空间（HDFS）进行管理

【datanode】

存储文件 文件被分成block存储在磁盘上 为保证数据安全，
文件会有多个副本 namenode和client的指令进行存储或者检索block，
并且周期性的向namenode节点报告它存了哪些文件的block

2.NameNode的启动流程和元数据合并流程

NameNode的元数据信息先往edits文件中写，当edits文件达到一定的阈值(3600秒或大小
到64M)的时候，会开启合并的流程。
    合并流程:
所在内存中，开始合并，合并生成一个名为fsimage.ckpt的文件。
2.将fsimage.ckpt文件拷贝到NameNode上，成功后，再删除原有的fsimage，并将
fsimage.ckpt文件重命名为fsimage。
3.当SecondaryNameNode将edits和fsimage拷贝走之后，NameNode会立刻生成一
个edits.new文件，用于记录新来的元数据，当合并完成之后，原有的edits文件才会被删
除，并将edits.new文件重命名为edits文件，开启下一轮流程。

对应的视频教学，可以加QQ群209586391，免费发送