hadoop分布式运算集群中MapReduce跑我的第一个“Hello World”

接着上一篇文档之后：手把手教你用虚拟机VMWare搭建hadoop伪分布式安装

目录

1.格式化文件

2.启动集群

3.启动yarn

5.在data里写word

6.//回到hadoop

7.//上传words文件到words文件夹

8.//运行hello，

9.//查看结果是否出现

10.//查看结果

11.停止集群，停止yarn

12.退出

13.关闭linux，释放内存

---

 

1.格式化文件

bin/hdfs namenode -format   //格式化文件系统成功后：

 

2.启动集群

之后，查看一下是否有3个进程，Namenode、datanode、secondaryNamenode

 sbin/start-dfs.sh
jps

3.启动yarn

sbin/start-yarn.sh   //启动yarn

 

4.

cd ../../data

5.在data里写word

vim words     //在data里写word

hello a
hello b
hello c

 

6.//回到hadoop

cd /home/softwares/hadoop-2.9.2    

查看一下，确保写入

 

7.//上传words文件到words文件夹

bin/hdfs dfs -put /home/data/words /words    

8.//运行hello，

进行words的词频统计 结果保存在out1中

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /words /out1        

9.//查看结果是否出现

bin/hdfs dfs -ls /out1    

10.//查看结果

bin/hdfs dfs -cat /out1/part-r-00000     

 

11.停止集群，停止yarn

sbin/stop-dfs.sh

sbin/stop-yarn.sh

12.退出

exit

 

13.关闭linux，释放内存