三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

七层楼的疯子

已于 2024-10-10 20:09:57 修改

阅读量3.9k

点赞数 5

分类专栏： Hadoop系统应用文章标签： hadoop centos 大数据 hdfs 分布式

于 2022-07-08 14:28:32 首次发布

本文链接：https://blog.csdn.net/weixin_42051846/article/details/125677433

版权

本文详细介绍了在WIN10环境下，使用VMwareWorkstation15.5PRO和CentOS-6.7搭建Hadoop集群的全过程，包括系统安装准备、集群搭建、HDFS和YARN服务的启动与关闭，以及通过UI检查集群状态。此外，还通过词频统计案例展示了Hadoop的实际应用，包括数据上传、MapReduce任务执行和结果查看。

摘要由CSDN通过智能技术生成

Hadoop集群搭建前安装准备参考：
一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
一、Hadoop系统应用之安装准备（二）（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
Hadoop集群搭建过程参考：
二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

1、Hadoop集群测试

1.1 格式化文件系统

前面完成了Hadoop集群的安装与配置，在初次启动HDFS集群时，必须对主节点进行格式化处理，使用如下指令：

hdfs namenode -format

或

hadoop namenode -format

初始化成功后出现如下界面：
在这里插入图片描述

1.2 启动和关闭Hadoop集群

第一种方式：单节点逐个启动和关闭。
(1)在主节点(hadoop01)上执行指令启动/关闭HDFS NameNode进程；
hadoop-daemon.sh start namenode （启动）
hadoop-daemon.sh stop namenode （关闭）
之后可使用jps查看进程是否启动：
在这里插入图片描述

(2)在每个从节点(hadoop01、hadoop02、hadoop03)上执行指令启动/关闭HDFS DataNode进程；
hadoop-daemon.sh start datanode （启动）
hadoop-daemon.sh stop datanode （关闭）
在这里插入图片描述