Hadoop集群测试

通过UI界面查看Hadoop运行状态

查看HDFS集群状态

单击导航条上的【Datanodes】，查看数据节点信息

 

访问slave1的数据节点（DataNode）

 

 点开【Utilities - 实用工具】下拉菜单，选择【Browse the file system - 浏览文件系统】

 

在HDFS上创建一个目录BigData，既可以在WebUI上创建，也可以通过shell命令创建

执行命令：hdfs dfs -mkdir /BigData

在Hadoop WebUI界面查看刚才创建的目录

 

 查看四个功能按钮

查看YARN集群状态

访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常

单击【About】链接

 

 启动Hadoop集群

在master虚拟机上执行命令：start-all.sh

 

在虚拟机上准备文件

在master虚拟机上创建test.txt文件

文件上传到HDFS指定目录

上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）

 

利用HDFS命令查看文件是否上传成功

利用Hadoop WebUI查看文件是否上传成功 

运行词频统计程序的jar包

查看Hadoop自带示例的jar包

 

 执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result

 

查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

 查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*

在HDFS集群UI界面查看结果文件

在HDFS集群UI界面，查看/wc_result目录

单击结果文件part-r-00000 

 单击【Download】，下载结果文件到本地 打开结果文件

 

在YARN集群UI界面查看程序运行状态

访问http://master:8088，看到FINISHED和SUCCEEDED

 

单击应用标识application_1668566449679_0001（注意：每次运行同一个应用，应用标识会发生变化），查看应用的运行详情