hdfs架构
Metadata–>元数据
元数据信息,
内存保留一份,磁盘保留一份
(为了快速读取,保存在内存;
为了防止丢失,序列化到硬盘一份)
元数据存储细节
元数据存储细节
: 文件名,几个副本,分成几块,每块存放在哪台主机上
namenode是啥
namenode维护文件路径树。
接收客服端请求。
操作datanode
fsimage:元数据镜像文件(内存中的元数据序列化到磁盘上的文件)
NameNode的工作特点
SecondaryNameNode
下载、合并、推送
画图总结工作流程
client要上传数据,首先根NameNade打交道。
1.client发送一个请求信息给NameNade:请求查看NameNade的元数据(Metadata)信息。
2.NameNade将信息反馈给client
3.client拿到这些信息,开始往DataNode写数据。
3.1 与此同时,NameNade操作edits文件。
3.2不管写成功还是失败,edits文件都要记录一条信息。(标示位记录成功或失败)
3.3 如果成功了,edits记录内容为:文件名称、存放位置、被分成几块。 日志信息+1 ,edits文件返回,然后修改内存中的Metadata,内存中的Metadata也+1(多了一条信息).————-这个时候fsimage内容没有+1.(内存中Metadata数据和fsimage数据没有完全同步)
例子:你在一个月之前向我们的hdfs上传了两个文件(原来hdfs没有文件),接下来一个月没有做任何操作。
内存中的Metadata应该有几分信息的描述信息? 答:2条。(内存当中的Metadata是实时更新的)
磁盘上的fsimage应该有几分信息的描述信息?答:2条。(一个月SecondaryNameNode合并工作都进行好多次了)
edits有几分信息的描述信息?答:2条不对。(edits与fsimage文件合并之后,edits文件会产生信息,为了以后记录新的edits)一个月之后。我又想上传一个文件。client发送一个请求信息给NameNade,请求查看NameNade的Metadata;NameNade将信息反馈给client;.client拿到这些信息,开始往DataNode写数据。假设数据写成功了。edits存的描述信息加了一条,将结果返回,接着修改Metadata。
这个时候Metadata一共存放了3条描述信息。edits一共存放了1条。 fsimage存放了2条。现在内存中和fsimage中的数据不同步了怎样才能同步?当满足一定的条件,SecondaryNameNode要工作了,他把edits和fsimage文件获取到,进行合并。数据同步了。合并的时机有几个? 1.满足一定的时间,ok.2.当edits达到一定大小。