本文介绍了Hadoop的分布式文件系统HDFS，详细讲解了名称节点和数据节点的角色，以及数据的冗余存储策略。还探讨了第二名称节点的作用，以及HDFS在数据读写过程中的处理方式。最后，列举了一些常用的HDFS命令。
-
一、分布式文件系统
1.分布式文件系统解决问题：海量数据的高效存储
2.分布式文件系统是将文件分布存储到多个计算机节点上。（此处的计算机为普通计算机）
3.分布式文件系统的多个节点分为两类：
名称节点（主节点）：文件、目录的操作（创建、删除、重命名等），数据节点与文件块的映射关系
数据节点（从节点）：数据的读取与存储
-
二、HDFS概念
1.名称节点：管理分布式文件的命名空间。包含FsImage，Editlog两大核心数据结构
FsImage：维护文件系统树以及文件树中的文件和文件夹中的元数据
Editlog：记录所有针对文件的创建、删除、重命名操作
2.FsImage，Editlog两大数据结构工作过程：
名称节点启动—>FsImage的内容加载到内存—>执行EditLog中的操作(使内存中的数据源保持最新)—>创建新的FsImage+空
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
