使用Hadoop自带的例子wordcount实现词频统计

最新推荐文章于 2024-09-08 00:59:51 发布
最新推荐文章于 2024-09-08 00:59:51 发布
阅读量1.1w 收藏 35
点赞数 10
分类专栏： Linux 文章标签： wordcount 词频统计 Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godadream/article/details/81431983
版权

Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例，本文将用wordcount实现词频统计。具体步骤如下：

1. 启动Hadoop

    切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令

    或执行./start-dfs.sh和./start-yarn.sh两条命令

2. 在集群中创建目录inputdata_w

    hdfs dfs -mkdir /inputdata_w

3. 将Hadoop安装目录下的LICENSE.txt、README.txt、NOTICE.txt文件上传到集群

    hdfs dfs -put ../LICENSE.txt /inputdata_w

    hdfs dfs -put ../README.txt /inputdata_w

    hdfs dfs -put ../NOTICE.txt /inputdata_w

4. 使用hadoop-mapreduce-examples-2.7.6.jar对上传的数据进行词频统计

    hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount /inputdata_w

    /output/wordcountout01

5. 查看统计结果

    hdfs dfs -cat /output/wordcountout01/part-r-00000

godadream
关注
专栏目录
Hadoop自带WordCount进行词频统计（mapreduce）
weixin_43322782的博客
12-10 8427
Hadoop自带WordCount进行词频统计 准备： 安装好的Hadoop 需要统计词频txt文件 step1 启动Hadoop cd /usr/local/hadoop ./sbin/start-all.sh 用jps命令查看是否开启成功 准备好需要统计词频的txt文件（也可以用filezilla传入Ubuntu） 链接: 如何用filezilla连接Ubuntu. 找到Hadoop文件所在位置 把需要计算词频的文件放在Hadoop文件下 step2 使用Hadoo
Hadoop之词频统计
浪灬迹-红尘少年的博客
05-24 1623
MR编程思路 -------------------------------- 0.词频统计：n个文件，每个文件有m行数据，每行数据由空格分割 如text1.txt hello world how are you? ni hao hello tom 如text2.txt zhang ...
运行Hadoop自带的wordcount单词统计程序
weixin_33939843的博客
09-03 738
0.前言    前面一篇《Hadoop初体验：快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境，现在就使用Hadoop自带的wordcount程序来做单词统计的案例。1.使用示例程序实现单词统计（1）wordcount程序    wordcount程序在hadoop的share目录下，如下：[root@leaf mapreduce]# pwd /usr/local/hadoop/sh...
基于Hadoop的热点新闻分析系统
最新发布
2401_86118737的博客
09-08 275
本文系统采用PyCharm开发工具， django框架、Python语言、Hadoop大数据处理技术进行开发，后台使用MySQL数据库进行信息管理，设计开发的热点新闻分析系统。本系统拥有管理员和用户两个模块，主要具备有系统首页、个人中心、用户管理、新闻类型管理、主题标签管理、热点新闻管理、新闻评分管理、新闻资讯管理、系统管理等功能模块。基于Hadoop的热点新闻分析系统。源码➕数据库➕仑文(送ppt)。
Hadoop词频统计（完整版）
01-05
完整的词频统计MapReduce版本。基于Hadoop2.2.0，包含一个十万单词左右的测试文件。请参照 http://blog.csdn.net/zythy/article/details/17888439 获取详细解说。
hadoop 词频统计
分享我的点点滴滴，在成长路上与你同行！
04-24 2028
 1)先写words文件    2)再将words上传到hdfs中，可以直接运行     bin/hadoop fs -put /home/data/words指定文件路径  /words目标路 浏览器查看文件    可以单击Download下载;  必须配置: C:\Windows\System32\drivers\etc\hosts   192.168.X.X  hlx    2)查看案例  ...
hadoop词频统计
weixin_68398469的博客
06-30 1950
此文章基于搭建好hadoop之后做的词频统计实验，以上是链接。
Hadoop 之Mapreduce wordcount词频统计案例
Dangerous的博客
08-05 7975
首先我们来看一张描述MapReduce运行过程的图。 首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping：把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing：对每个节点的word进行统计。 以上就是简单的Mapreduce作业过程。下面看下官网的介绍： A MapReduce job ...
大数据：Hadoop入门经典案例wordcount单词统计Java代码实现
2401_84141419的博客
04-29 943
，注意，在Hadoop2.8.3，Windows 10,64位环境下，编译出的jar包里面有两个文件夹：META-INF和license，如果直接运行将导致失败。4，通过start-all命令，启动Hadoop，如附录1中那样。3，在IntelliJ IDEA中直接导出可运行的Java的jar包（具体方法见文章。上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！如果不删除这两个文件夹，在jar包运行时候，会抛出错误导致运行失败。运行后输出的结果和附1相同。
Hadoop词频统计
weixin_49670340的博客
12-25 4288
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
hadoop wordcount
yandao的博客
06-21 2259
wordcount
Hadoop的词频统计源代码WordCount
06-03
Hadoop的词频统计源代码WordCount
大数据 hadoop mapreduce 词频统计
10-23
在hadoop平台上，用mapreduce编程实现大数据的词频统计
Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列）
m0_49766582的博客
01-21 3831
Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列） 分为两步词频统计和排序。第一个map reduce与过滤停用词的代码相同；第二个map reduce中的map将键值对内容交换，map到reduce的shufle中会自动进行key值升序排序，这时需要重写排序为降序。Reduce中需要将相同词频的单词按照字母进行升序排列，.sort（）方法默认时升序排列的。 重点：1.两个map reduce时需要将加入控制器 2.重写sort类，在shuffle中的排序 public stat
先使用Hadoop自带的wordcount程序，针对license.txt进行词频统计；后使用Java编写MapReduce程序，实现特定文本的词频统计
qq_57972047的博客
06-20 315
一、 使用Hadoop自带的wordcount进行词频统计。二、 使用java编写MapReducd,进行词频统计。
Hadoop 词频统计（续）
zythy的专栏
01-05 6881
基于Hadoop2.2.0的词频统计实例，最终结果按出现频率排序。
hadoop入门程序：词频统计
墨夜之枫的博客
10-12 1983
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本...
使用hadoop实现词频统计
08-15
要使用Hadoop实现词频统计，需要按照以下步骤进行操作： 1. 首先，将Java应用程序打包生成JAR包，并将其部署到Hadoop平台上的指定目录。例如，将词频统计程序放在"/usr/local/hadoop/myapp"目录下。如果该目录不存在，可以使用如下命令创建： ``` cd /usr/local/hadoop mkdir myapp ``` 2. 然后，将需要统计词频的文本文件移动到Hadoop目录下。可以使用`mv`命令将文件移动，或者直接在Hadoop路径下使用`vim`命令创建一个新的文本文件，并将需要统计词频的例子放入其中。假设文本文件名为"wordfile1.txt"，执行以下命令将文件放到HDFS上： ``` ./bin/hdfs dfs -put ./wordfile1.txt input ``` 3. 接下来，在Linux系统中使用`hadoop jar`命令来运行词频统计程序。命令如下所示： ``` ./bin/hadoop jar ./myapp/WordCount.jar input output ``` 这样，程序将会运行并统计输入文件中每个单词的频率。统计结果将会被写入HDFS的"/user/hadoop/output"目录中。您可以使用以下命令查看词频统计结果： ``` ./bin/hdfs dfs -cat output/* ``` 以上就是使用Hadoop实现词频统计的步骤。请确保您已经正确设置了Hadoop环境，并按照上述步骤进行操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hadoop词频统计](https://blog.csdn.net/weixin_49670340/article/details/122145331)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值