![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
爱睡觉的考拉yxl
门头沟学院
展开
-
大数据组件学习7 —— HDFS(三)
详细说一下NameNode中的Fsimage和edit文件,与元数据有关的文件有5种,分别是: 1. Fsimage文件:HDFS文件系统元数据的一个永久性的检查点,其中包含HDFS文件系统的所有目录和文件idnode的序列化信息; 2. Fsimage.md5文件:是镜像文件的 md5 校验文件,这个校验文件是为了判断镜像文件是否被修改; 3. Edits文件:存放HDFS文件系统的所有更新操作,文件系统客户端执行的所有写操作首先会被记录到Edits文件中 4. seen_txid文件:它代表的是 na转载 2022-04-24 08:50:26 · 146 阅读 · 0 评论 -
大数据组件学习6 —— HDFS(二)
之前说了HDFS的组件,尤其是 NN, DN, 2NN的工作机制,这回整理下HDFS的block块与副本机制,读写过程 1. HDFS的block块 HDFS中存储的文件都以block的形式放在DN中,Hadoop 2.X中采用每个block的默认大小128M, 可以调整,主要看网络IO,磁盘IO的能力,设置太小,寻址时间过长,设置太大MR处理时间过长 以block存储文件的好处: 可存储比磁盘空间大的文件 块的形式可以简化存储子系统 块的形式非常适合数据备份从而提供系统容错性 2.副本机制..原创 2022-04-23 15:07:39 · 1164 阅读 · 0 评论 -
大数据组件学习4 —— HDFS(一)
Hadoop生态系统包含众多框架,从Hadoop框架本身开始,Hadoop本身包含三个组件 HDFS, Yarn, MapReduce,分别对应海量数据存储,资源调度,海量数据计算。 (讨论的是Hadoop 2.X,Yarn代替了1.X的 JobTracker) 一、HDFS, 又称 分布式文件系统,为适应海量数据的存储问题而设计,主要包含三个部分 NameNode, SecondaryNameNode, DataNode 1.1 NameNode(NN) NN管理元数据信息,以及每一个文件对应的块信原创 2022-04-20 11:27:40 · 305 阅读 · 0 评论