3.4 Hadoop集群测试

目录

零、学习目标

一、导入新课

二、新课讲解 

（一）通过UI界面查看Hadoop运行状态

 1、hadoop2和hadoop3端口区别表

 2、查看HDFS集群状态

3、查看YARN集群状态

（二）Hadoop集群初体验 —— 词频统计

1、启动Hadoop集群

2、在虚拟机上准备文件

3、文件上传到HDFS指定目录

4、运行词频统计程序的jar包

5、在HDFS集群UI界面查看结果文件

6、在YARN集群UI界面查看程序运行状态

---

零、学习目标

1. 掌握通过UI界面查看Hadoop集群运行状态
2. 熟悉Hadoop集群初体验的操作——词频统计

一、导入新课

• 上次课对Hadoop集群配置、格式化文件系统以及启动和关闭Hadoop集群进行了详细的讲解，本次课将针对通过UI界面查看Hadoop集群运行状态和Hadoop集群初体验进行详细讲解。

二、新课讲解 

 

（一）通过UI界面查看Hadoop运行状态

• Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。

 1、hadoop2和hadoop3端口区别表

 2、查看HDFS集群状态

 

不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870

修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射 

此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常

 

单击导航条上的【Datanodes】，查看数据节点信息 

访问slave1的数据节点（DataNode）

 

点开【Utilities - 实用工具】下拉菜单，选择【Browse the file system - 浏览文件系统】

 

此时HDFS上什么东东都木有

 

• 在HDFS上创建一个目录BigData，既可以在WebUI上创建，也可以通过shell命令创建

• 执行命令：hdfs dfs -mkdir /BigData

 

在Hadoop WebUI界面查看刚才创建的目录

 

单击【BigData】右边的删除按钮

 

单击【Delete】按钮
 

查看四个功能按钮

 

在Hadoop WebUI界面里创建目录

 

在弹出的【Create Directory】对话里输入目录名 - BigData

 

单击【Create】按钮

 

3、查看YARN集群状态

• 访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常

 

单击【About】链接
 

（二）Hadoop集群初体验 —— 词频统计

1、启动Hadoop集群

• 在master虚拟机上执行命令：start-all.sh

 

2、在虚拟机上准备文件

• 在master虚拟机上创建test.txt文件

 

3、文件上传到HDFS指定目录

• 上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）

 

利用HDFS命令查看文件是否上传成功

 

利用Hadoop WebUI查看文件是否上传成功
 

4、运行词频统计程序的jar包

• 查看Hadoop自带示例的jar包

 

执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result

 

查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

 

查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*

 

再次运行程序，会报错：输出目录已存在

• 当然，删除输出目录之后，可以再次运行程序

5、在HDFS集群UI界面查看结果文件

• 在HDFS集群UI界面，查看/wc_result目录

 

单击结果文件part-r-00000
 

单击【Download】，下载结果文件到本地
 

利用Notepad++打开结果文件

 

6、在YARN集群UI界面查看程序运行状态

• 访问http://master:8088，看到FINISHED和SUCCEEDED

 

单击应用标识application_1668566449679_0001（注意：每次运行同一个应用，应用标识会发生变化），查看应用的运行详情