2021年 全网最细大数据学习笔记(三):Hadoop 集群的搭建与配置

这篇博客详细介绍了如何在Centos7上搭建和配置Hadoop集群,包括Hadoop集群的角色划分,如NameNode、DataNode、Resource Manager和Node Manager。通过一主两从的配置实践,讲解了集群环境的配置,如SSH免密码登录、时间同步,以及Hadoop的安装、配置和启动过程。最后,验证了Hadoop集群的运行状态,并展示了运行MapReduce程序的步骤。
摘要由CSDN通过智能技术生成

一、学前必备知识

  1. 2021年 全网最细大数据学习笔记(一):初识 Hadoop
  2. 2021年 全网最细大数据学习笔记(二):Hadoop 伪分布式安装

二、使用 Centos7 进行 Hadoop 集群的搭建与配置

1、Hadoop 集群详解

Hadoop 集群中可以有成百上千个节点,但各个节点的角色,也就是说各节点的分工是怎样的呢?可以从三个角度对 Hadoop 集群节点进行分类,分别为:

  1. 基本角色划分:Hadoop 集群,可以分为两大类角色:Master 和 slave,即主人和奴隶。
  2. 从 HDFS 的角度划分:将节点划分为一个 NameNode 和若干个 DataNode。其中 NameNode 作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;DataNode 管理存储的数据。
  3. 从Y
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Amo Xiang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值