大数据讲课笔记3.4 Hadoop集群测试

• 在HDFS上创建一个目录BigData，既可以在WebUI上创建，也可以通过shell命令创建

• 执行命令：hdfs dfs -mkdir /BigData
  

• 在Hadoop WebUI界面查看刚才

•  

   

  2、在虚拟机上准备文件

• 在master虚拟机上创建test.txt文件

• 

   

• 上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）
  

• 利用HDFS命令查看文件是否上传成功

• 利用Hadoop WebUI查看文件是否上传成功

   

  4、运行词频统计程序的jar包

• 查看Hadoop自带示例的jar包

• 

   执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result

• 

   查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

   

  5、在HDFS集群UI界面查看结果文件

• 在HDFS集群UI界面，查看/wc_result目录

• 

• 5、在HDFS集群UI界面查看结果文件

• 在HDFS集群UI界面，查看/wc_result目录

• 

   

  6、在YARN集群UI界面查看程序运行状态

• 访问http://master:8088，看到FINISHED和SUCCEEDED

• 

   单击应用标识application_1668566449679_0001（注意：每次运行同一个应用，应用标识会发生变化），查看应用的运行详情

•