【Hadoop】之 Hadoop 1.x 初识

Hadoop1.x 组件

---

名称节点（NameNode）

---

简介

1. 维护这存储在HDFS上的所有文件的元数据信息（内存元数据：包含DataNode上块的映射信息）
   [DataNode]：数据节点，是分布式文件系统HDFS的工作节点，负责数据的存储和读取。

2. 管理分布式文件系统的命名空间（Namenode）————[文件系统文件目录的组织方式]

3. 保存了两个核心的数据结构，即FsImage 和 EditLog

FsImage

用于维护文件系统树以及文件树种所有的文件和文件夹的元数据（内存元数据：包含datanode上块的映射信息）

Editlog

记录了所有针对文件的创建、删除，重命名等操作。

第二名称节点（Secondary Namenode）

---

简介

1. 不是名称节点的热备份
2. 为了解决EditLog逐渐变大带来的问题

作用：
（1）完成EditLog与FsImage的合并操作，减小EditLog文件大小，缩短名称节点重启时间
（2）作为名称节点的”检查点”，保存名称节点中的元数据信息。

数据节点（DataNode）

---

简介

是分布式文件系统hdfs的工作节点，负责数据的存储和读取，会根据客户端或者名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的快列表。

作业跟踪器（JobTracker）

---

简介

负责一个任务的整个执行过程。
调度各个子任务（Mapper任务和Reducer任务各自的子任务）到各自的计算节点运行，时刻监控任务运行和计算节点的健康状况，对失败的子任务重新调度执行

任务跟踪器（TaskTracker）

---

简介

运行在各个数据节点上，用来启动和管理各个Map/Reduce任务。与作业跟踪器进行通信。