虚拟机安装(七)|环境搭建--测试Hadoop集群-单词统计

七、 测试Hadoop集群-单词统计

1. Ip映射
进入到Windows/System32/drivers/etc目录下
打开hosts文件
添加

192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03

2. 关闭防火墙
三个服务器都关闭防火墙和关闭开机启动

service iptables stop

检查

chkconfig iptables off

3. 再次启动hdfs和yarn进程

start-dfs.sh

start-yarn.sh

打开浏览器，访问

http://hadoop01:50070

和

http://hadoop01:8088

4. 创建一个目录，创建单词统计txt文件

mkdir -p /export/data

cd /export/data/

vi word.txt

查看

ls

5. 在hadoop里创建文件目录，并将txt文件上传到hadoop

hadoop fs -mkdir -p /wordcount/input

hadoop fs -put /export/data/word.txt /wordcount/input

6. 进入mapreduce目录，

cd /export/servers/hadoop-2.7.4

cd share/

ls

cd hadoop/

ls

cd mapreduce/

ls

运行单词统计jar
执行命令：

hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input /wordcount/output

7. 完成
刷新浏览器，查看