2020-09-24

                                                           我们来做一个在hadoop上做个小实验，统计单词的数量（如果有错误，请留言）

一：准备工作:首先打开我们的虚拟机，开启3台hadoop01,haadoop02,hadoop03

 

 

二：用start-dfs.sh和start-yarn.sh来启动我们的hadoop(提示！我们必须要进入hadooop01安装目录运行,只需要在hadoop01一台电脑上运行就行了)

三：启动完成后我们需要用jps这个查进程的命令，查看后台的hadoop01,02,03有没有启动成功

Hadoop01,hadoop02,hadoop03如图所示!出现了以下结果说明我们已经成功启动hadoop

                              

 

 

 

四：我们用vi来编辑a.txt这个文件本文件

 

 

 

五：我们往里面写入Hello word , Hello Hadoop , Hello ggl,，保存推出

七，首先我们用浏览器来访问下hadoop01:8088和hadoop01:50070(提示！如果不能访问请关闭我们的防火墙，或者添加端口号)

 

 

八：我们要用一个命令，在HDFS里面来创建一个文件叫做/wordcount/input

  Hadoop fs –mkdir –p /wordcount/input   ####解释hadoop fs 固定搭配 –mkdir –p 递归创建,一个文件夹叫做/wordcount/input 文件夹

 

 

 

九：然后我们必须把我写的a.txt文件上传到HDFS里面的/wordcount/input目录下，命令如下

Hadoop fs –put /opt/data/a.txt /wordcount/input     ##解释-put 上传  /opt/data/a.txt 源文件  /wordcount/input 目录文件

（效果如下）

 

 

十：我们再次查看下，发现/wordcount/input里面有a.txt这个文本文件

 

十一：我们要找到jar包他在/opt/package/hadoop-2.7.1/share/hadoop/mapreduce(提示这仅仅是我的jar包位置)

 

 

十二:我们要运行jar包命令如下  jar hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/ouput     ##解释 （ hadoop-mapreduce-examples-2.7.1.jar，系统自带    wordcount 要调用这个单词统计  /wordcount/input   Hdfs的源文件，/wordcount/ouput  hdfs的输出文件）结果如下

 

 

 

 

十三：我们可以通过两种方式进行查看

 

1，在hadoop0:8088里面查看结果（下面的结果显示的状态还在跑，下面第二幅图显示success成功了）

 

 

 

 

2，在hadoop:50070里面查看（以下显示成功）

 

 

 

 

十四：实验结束综上就是4个命令

1；在我们hadoop01里面创建一个文本文件vi a.txt

2：在我们hdfs里面创建一个文件夹 Hadoop fs –mkdir –p /wordcount/input

3；把我们的文本文件上传到hdfs里面的/word/count   Hadoop fs –put /wordcount/input

4 ：调研jar包jar hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/ouput