我们来做一个在hadoop上做个小实验,统计单词的数量(如果有错误,请留言)
一:准备工作:首先打开我们的虚拟机,开启3台hadoop01,haadoop02,hadoop03
二:用start-dfs.sh和start-yarn.sh来启动我们的hadoop(提示!我们必须要进入hadooop01安装目录运行,只需要在hadoop01一台电脑上运行就行了)
三:启动完成后我们需要用jps这个查进程的命令,查看后台的hadoop01,02,03有没有启动成功
Hadoop01,hadoop02,hadoop03如图所示!出现了以下结果说明我们已经成功启动hadoop
四:我们用vi来编辑a.txt这个文件本文件
五:我们往里面写入Hello word , Hello Hadoop , Hello ggl,,保存推出
七,首先我们用浏览器来访问下hadoop01:8088和hadoop01:50070(提示!如果不能访问请关闭我们的防火墙,或者添加端口号)
八:我们要用一个命令,在HDFS里面来创建一个文件叫做/wordcount/input
Hadoop fs –mkdir –p /wordcount/input ####解释hadoop fs 固定搭配 –mkdir –p 递归创建,一个文件夹叫做/wordcount/input 文件夹
九:然后我们必须把我写的a.txt文件上传到HDFS里面的/wordcount/input目录下,命令如下
Hadoop fs –put /opt/data/a.txt /wordcount/input ##解释-put 上传 /opt/data/a.txt 源文件 /wordcount/input 目录文件
(效果如下)
十:我们再次查看下,发现/wordcount/input里面有a.txt这个文本文件
十一:我们要找到jar包他在/opt/package/hadoop-2.7.1/share/hadoop/mapreduce(提示这仅仅是我的jar包位置)
十二:我们要运行jar包命令如下 jar hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/ouput ##解释 ( hadoop-mapreduce-examples-2.7.1.jar,系统自带 wordcount 要调用这个单词统计 /wordcount/input Hdfs的源文件,/wordcount/ouput hdfs的输出文件)结果如下
十三:我们可以通过两种方式进行查看
1,在hadoop0:8088里面查看结果(下面的结果显示的状态还在跑,下面第二幅图显示success成功了)
2,在hadoop:50070里面查看(以下显示成功)
十四:实验结束综上就是4个命令
1;在我们hadoop01里面创建一个文本文件vi a.txt
2:在我们hdfs里面创建一个文件夹 Hadoop fs –mkdir –p /wordcount/input
3;把我们的文本文件上传到hdfs里面的/word/count Hadoop fs –put /wordcount/input
4 :调研jar包jar hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/ouput