![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
m5888406
这个作者很懒,什么都没留下…
展开
-
NameNode与SecondaryNameNode(下)
Fsimage与EditsFsimage与Edits概念nameNode在被格式化后会生成四个文件。如下图:Fsimage:hdfs文件系统元数据的永久检查点,包括hdfs文件系统的所有目录和文件iNode的序列化信息Edits:存放hdfs文件系统的所有更新操作路径,文件系统客户端执行的所有写操作首先会记录在edits文件中seen_txid:保存的edits_inprogress_后的数字每次NameNode启动时,都会将fsimage文件读入内存,加载edits里的更新操作,保证内存中原创 2020-06-01 21:25:16 · 269 阅读 · 0 评论 -
NameNode与SecondaryNameNode(上)
NameNode工作机制NameNode数据存储:NameNode数据存储分为三部分:内存、FsImage、Edits。内存:为了提供高效、快速的服务,NameNode将所有的元数据处理在内存中进行。FsImage:考虑到数据安全,以及保证数据持久化,提出了FsImage元数据文件存储,将元数据保存在文件中。Edits:但是如果NameNode一边复制数据处理,一边负责将元数据保存在FsImage文件中,效率会特别低。从而有了Edits,Edits只负责将操作步骤追加起来(不包括查询操作)Sec原创 2020-05-27 16:16:09 · 140 阅读 · 0 评论 -
hdfs文件处理过程
hdfs文件处理过程上传文件过程:上传文件过程:创建分布式文件系统(distribute File System)FileSystem作为客户端请求NameNode,上传文件NameNode返回是否同意请求FileSystem请求datanode信息NameNode返回datanode元信息列表FileSystem请求datanode链接,datanode内部逐级请求链接到最后一个datanode后依次返回链接成功结果FileSystem向datanode逐级,异步、无需等待传输byt原创 2020-05-27 00:57:57 · 463 阅读 · 0 评论