大数据 集群测试部分

查看HDFS集群状态

在浏览器里访问http://master:9870

不能通过主机名master加端口9870的方式，原因在于没有在hosts文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：http://192.168.1.101:9870

修改宿主机的C:\Windows\System32\drivers\etc\hosts文件，增加hadoop集群主机名与IP地址的映射

此时，访问http://master:9870，从图中可以看出HDFS集群状态显示正常

单击导航条上的【Datanodes】，查看数据节点信息

点开【Utilities - 实用工具】下拉菜单，选择【Browse the file system - 浏览文件系统】

此时HDFS上什么东东都木有

在HDFS上创建一个目录BigData，既可以在WebUI上创建，也可以通过shell命令创建

执行命令：hdfs dfs -mkdir /BigData

查看四个功能按钮

查看YARN集群状态

访问http://master:8088/cluster，从图中可以看出YARN集群状态显示正常

Hadoop集群初体验 —— 词频统计

启动Hadoop集群

在master虚拟机上执行命令：start-all.sh

在虚拟机上准备文件

在master虚拟机上创建test.txt文件

文件上传到HDFS指定目录

上传test.txt文件到HDFS的/BigData目录（如果没有就创建目录）

利用HDFS命令查看文件是否上传成功

利用Hadoop WebUI查看文件是否上传成功

运行词频统计程序的jar包

查看Hadoop自带示例的jar包

执行命令：hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result
查看输出目录/wc_result，执行命令：hdfs dfs -ls /wc_result

查看词频统计结果，执行命令：hdfs dfs -cat /wc_result/*

再次运行程序，会报错：输出目录已存在