Hadoop集群测试3.4

思维导图

通过UI界面查看Hadoop运行状态

• Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问

查看HDFS集群状态

在浏览器里访问http://master:9870

 

 不能通过主机名master加端口9870的方式，以级不能通过IP地址加端口号的方式访问：http://192.168.218.219:9870,在于没有在hosts文件里IP与主机名的映射修改宿主机

原因二：

• 也可能是防火墙没有关闭，要关闭防火墙：
• 命令：systemctl status firewalld（打开防火墙设置）
• 关闭防火墙：命令：systemctl stop firewalld     
• 命令： systemctl disable firewall

关闭后

此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常。

单击导航条上的【Datanodes】，查看数据节点信息

点开【Utilities】下拉菜单，选择【Browse the file system】

这个HDFS上什么也没有

在HDFS上创建一个目录bigdata，执行命令：hdfs dfs -mkdir /bigdata

在Hadoop WebUI界面查看刚才创建的目录

3、查看YARN集群状态

访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常。

单击[About]链接

(二）Hadoop集群初体验 —— 词频统计 

1.启动Hadoop集群

在master虚拟机上执行命令：start-all.sh

2.在虚拟机上准备文件

在master虚拟机创建test.txt文件

命令：vim test.txt(输入内容，：wq退出保存）

查看test.txt文件，命令：cat test.txt

 3、文件上传到HDFS指定目录

上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）

利用HDFS命令查看文件是否成功

 利用Hadoop WebUI查看文件是否上传成功

4、运行词频统计程序的jar包 

 查看Hadoop自带示例的jar包

执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result

• 查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

 查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*

 5、在HDFS集群UI界面查看结果文件

• 在HDFS集群UI界面，查看/wc_result目录

• 单击结果文件part-r-00000

• 利用Notepad++打开结果文件

 

单击应用标识application_1664901602347_0001，查看应用的运行详情