一、学前必备知识
- 2021年 全网最细大数据学习笔记(一):初识 Hadoop
- 2021年 全网最细大数据学习笔记(二):Hadoop 伪分布式安装
二、使用 Centos7 进行 Hadoop 集群的搭建与配置
1、Hadoop 集群详解
Hadoop 集群中可以有成百上千个节点,但各个节点的角色,也就是说各节点的分工是怎样的呢?可以从三个角度对 Hadoop 集群节点进行分类,分别为:
- 基本角色划分:Hadoop 集群,可以分为两大类角色:Master 和 slave,即主人和奴隶。
- 从 HDFS 的角度划分:将节点划分为一个 NameNode 和若干个 DataNode。其中 NameNode 作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;DataNode 管理存储的数据。
- 从Y