Hadoop学习笔记：HDFS理论知识

HDFS介绍

HDFS是hadoop自带的分布式文件系统，英文名为：Hadoop Distributed Filesystem，HDFS以流式数据访问模式来存储超大文件。

分布式文件系统的结构

分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)

HDFS主要组件的功能

NameNode	DataNode
存储元数据	存储文件内容
元数据保存在内存中	文件内容保存在磁盘中
保存文件，block，datanode之间的映射关系	维护了block id到datanode本地文件爱的映射关系

名称节点（NameNode）

• 在HDFS中，名称节点（NameNode）负责管理分布式文件系统的命名空（Namespace）保存了两个核心的数据结构，即FsImage和EditLog
  • FsIma