Hadoop集群介绍
本章目标
- Hadoop集群概述
- Hadoop集群结构
- 数据本地性
1 Hadoop集群概述
本节我们将了解Hadoop框架的核心内容,Hadoop集群。首先,我们需要了解什么是Hadoop集群,然后,我们将了解它的基本结构和协议,最后,我们将讨论Hadoop集群给我们带来的各种好处。
接下来,我们就开始了解Hadoop集群。
Hadoop集群就是一组计算机通过LAN进行连接。我们使用它来存储和处理大数据集。Hadoop集群使用普通硬件互相连接。它们和一个扮演master角色的高端集群进行通讯。master和slave一起在分布式数据存储上实现分布式计算。集群上面运行开源的软件提供分布式功能。
2 Hadoop集群的基本结构
2.1 Hadoop集群中的Master节点
Hadoop集群具备主从结构。
作为Master节点的机器内存和CPU的配置要高一些。有两个进程会运行在master上面,它们是NameNode和Resource Manager
NameNode的功能
- 管理文件系统的命名空间
- 调度客户端对文件的访问
- 存储实际数据的元数据,包括文件路径,数据块的数量,块id,块位置等等
- 执行文件系统的命名空间操作,比如打开,关闭,重命名文件和目录等
NameNode为了快速返回信息,需要在内存中存储元数据,因此应该选择配置高一些的机器。
Resource Manager的功能
- 为发生资源冲突的节点仲裁资源
- 跟踪节点的活动和死亡状态