大数据课堂笔记 Hadoop集群测试

一、查看HDFS集群状态

1.在浏览器里访问 http://master:9870

 2.不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870

 3.修改宿主机的C:\Windows\System32\drivers\etc\hosts，增加hadoop集群主机名与IP地址的映射

4.访问http://master:9870，从图中可以看出HDFS集群状态显示正常。 

 5.单击导航条上的【Datanodes】，查看数据节点信息

 6.点开【Utilities】下拉菜单，选择【Browse the file system】

 此时HDFS上什么东西都没有

 7.在HDFS上创建一个目录BigData，执行命令：hdfs  dfs  -mkdir   /BigData

 

8.在Hadoop WebUI界面查看刚才创建的目录

 二、查看YARN集群状态

1.访问 http：//master:8088/cluster，从图中可以看出YARN集群状态显示正常。

2. 单击[About]链接

 

三、Hadoop集群初体验 —— 词频统计

启动Hadoop集群

1.在master虚拟机上执行命令：start-all.sh 

 在虚拟机上准备文件

1.在master虚拟机上创建 test.txt 文件

 利用HDFS命令查看文件是否上传成功

 

 利用Hadoop WebUI查看文件是否上传成功

 运行词频统计程序的jar包

 1.查看Hadoop自带示例的jar包

执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt  wc_result  

查看输出目录 /wc_result，执行命令：hafs dfs -ls /wc_result  

 

查看词频统计结果，执行命令：hafs  dfs  -cat  /wc_result/* 

在HDFS集群UI界面查看结果文件

在HDFS集群UI界面，查看 /wc_result  目录

 单击结果文件part-r-00000

 

单击【Download】，下载结果文件到本地

 利用Notepad++打开结果文件

 

在YARN集群UI界面查看程序运行状态

访问  http://master:8088 ，看到 FINISHED和 SUCCEEDED

 

单击应用标识 application_1664901602347_0001，查看应用的运行详情

byebye