在Hadoop环境里面统计西游记文章的词组(hdfs实验)

在Hadoop的环境里面我们测试一个文件,对西游记这个书籍里面的所有词语,进行统计排序。hadoop包括两个核心组成:HDFS:分布式文件系统,存储海量的数据MapReduce:并行处理框架,实现任务分解和调度。

hadoop运行机制

MapReduce工作原理

在这里插入图片描述

首先我们准备四个文件,在自己Windows里面已经写好的,或者是从其他地方copy过来的(涉及一些参数和路径的修改)

点击下载这四个参考文件
前面两文件是实现我们的文章词组的分割处理和排序处理(Python文件),后面的一个是执行文件,最后一个是西游记里面的文章,这个里面已经利用pycharm的jieba 库做好的文字的处理,只有词组和空格,没有标点符号和其他的东西。

在这里插入图片描述

准备:

首先打开虚拟机,启动Hadoop

在这里插入图片描述
这样就启动成功了,有的时候我们很容易忽略这个,我的这台机器配置了,开机自启动,所以打开虚拟机就会自己启动,但是如果没有的话我们就需要利用下面的代码

start-all.sh

之后等待启动OK,再去查看即可

实验过程

思路:

1.首先把文件上传到我们的虚拟机home目录,然后对其中三个文件权限进行修改。
2.修改run.sh 里面的参数,Hadoop文件路径,Python文件路径。
3.上传我们文件到hdfs本地

实验过程:

1.首先我们在home目录里面新建一个test1的文件夹,然后把这四个文件拖到我们新建的这个文件夹里面。然后我们去修改其中2个Python文件的内容,一个sh的文件路径即可

whw@whw-hadoop:~/test1$ chmod 777 mapper.py 
whw@whw-hadoop:~/test1$ chmod 777 reduce.py 
whw@whw-hadoop:~/test1$ ll
总用量 1420
drwxr-xr-x  2 whw whw    4096 9月  25 23:44 ./
drwxr-xr-x 21 whw whw    4096 9月  28 22:02 ../
-rwxrwxrwx  1 whw whw     546 9月  25 23:44 mapper.py*
-rwxrwxrwx  1 whw whw    1038 9月  25 23:44 reduce.py*
-rwxrw-rw-  1 whw whw     275 9月  25 23:42 run.sh*
-rwxrw-rw-  1 whw whw 1431328 9月  24 21:45 xyj_stopwords.txt*
whw@whw-hadoop:~/test1$ 


2.然后我们再去本地的hdfs里面创建一个test1的文件

whw@whw-hadoop:~$ hdfs dfs -mkdir /test1
mkdir: `/test1': File exists
whw@whw-hadoop:~$ 

我这里的文件已经存在了,可以通过这个命令去验证一下

hdfs dfs -ls /test1

然后把我们已经处理好一部分的西游记文件上传到hdfs 本地文件

hdfs dfs -copyFromLocal /home/whw/test1/xyj_stopwords.txt /test1/

注意copyFromLocal的大小写,然后就是我们的这个文件路径,我们直接点击该文件的属性,复制路径和文件名即可,再去终端粘贴,最后一步就是把这个文件放在那里,我们放在本地的test1的文件夹下面,注意后面加了一个/,如果不加这个,就会给这个文件重命名了。

查看

hdfs dfs -ls /test1/
hdfs dfs -cat /test1/xyj_stopwords.txt

在这里插入图片描述
3.修改run.sh

在这里插入图片描述
首先找到Hadoop的文件路径

sudo find / -name hadoop-stream*

在这里插入图片描述
修改完毕
在这里插入图片描述
注意由于我之前测试过一次,所以输出文件已经重复了如果去执行文件的时候,发现以下页面,我们只需要把之前的那个run.sh 里面的那个输出的result改成results即可!!

在这里插入图片描述
在这里插入图片描述
现在我们执行,但是必须在test终端打开

./run.sh

在这里插入图片描述

我们可以在闲暇之余,我们可以看看执行的过程,我们在我们的浏览器里面输入,回车即可

127.0.0.1:0880

也可以查看我们Hadoop的配置以及其他参数

在这里插入图片描述
结果查看

hdfs dfs -ls /st1/results
hdfs dfs -cat /test1/results/文件名

这里的文件名是我们输入第一条命令的时候会出现一个part文件,把这个文件名名字复制粘贴过来即可

在这里插入图片描述

最后注意关闭我们的Hadoop机器

stop-all.sh

每文一语

世界很大,总是会有很巧合的遇见!

©️2020 CSDN 皮肤主题: 终极编程指南 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值