Hadoop经典案例——单词统计

最新推荐文章于 2025-04-09 15:45:56 发布
最新推荐文章于 2025-04-09 15:45:56 发布
阅读量1.2w 收藏 71
点赞数 15
分类专栏： 大数据 文章标签： centos linux hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45990326/article/details/121432017
版权

通过 Hadoop经典案例——单词统计，来演示 Hadoop集群的简单使用。

(1）打开 HDFS 的 UI,选择Utilities→Browse the file system查看分布式文件系统里的数据文件，可以看到新建的HDFS上没有任何数据文件。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
(2）先在集群主节点namenode上的/export/data/目录下，执行“vi word. txt”指令新建一个 word. txt文本文件，并编写一些单词内容。

[root@namenode data]# vi word.txt

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
Hadoop单词统计实践：结果分析全流程详尽指南
weixin_74865657的博客
03-23 1654
Hadoop的单词统计（Word Count）是一个经典的MapReduce示例，用于计算输入文本文件中每个单词出现的次数。本指南旨在帮助读者在搭建完Hadoop集群后运行单词统计程序，并最终分析输出结果，全程详细解析，帮助读者深入理解大数据处理的核心流程。通过虚拟机实现Hadoop单词统计是一个很好的学习和实践大数据处理的方式。通过搭建Hadoop集群、准备数据、运行作业，这不仅增强了我们对大数据处理流程的理解，也提高了我们运用Hadoop进行实际数据处理的能力。
Hadoop实战练习---编程实现单词统计
m0_63324772的博客
05-11 1087
Hadoop实战练习---编程实现单词统计
Hadoop多个文件单词计数
ac_dao_di的专栏
06-17 2208
Hadoop的安装     首先下载Hadoop的安装包，这里使用2.7.3版本。解压到/usr/local下 sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/     然后更改hadoop-2.7.3的属主 sudo chown -R jessin /usr/local/hadoop-2.7.3     在/etc/profi
Hadoop案例——流量统计
lqlj2233的博客
04-09 1189
通过 Hadoop 的 MapReduce 框架，我们可以轻松地处理大规模的流量数据，实现高效的流量统计。本文介绍了一个简单的流量统计案例，包括数据模型的设计、MapReduce 程序的实现以及作业的提交和运行。希望这个案例能帮助你更好地理解和应用 Hadoop 技术。
hadoop单词统计
weixin_45732058的博客
11-15 3326
hadoop单词统计一.hadoop环境搭建二.hadoop单词统计 本篇文章简单实现hadoop功能之一WordCount统计单词，若未搭建hadoop环境建议参考下方链接搭建好环境再进一步操作。 一.hadoop环境搭建 建议参考《Hadoop的搭建，VmwareWorkstation 16pro + Ubuntu18.04.1》, https://blog.csdn.net/qq_43249582/article/details/116757548?utm_source=app&app_ver
hadoop简单单词统计
07-09
第一次实现hadoop上的程序，内含jar包和用例，算迈出大数据的第一步吧。。
Hadoop的简单单词统计案例
Youda的博客
09-15 1699
Hadoop的简单单词统计案例 在Hadoop学习过程中，单词统计作为一个最基本的案例，非常简单实用，是每一个入门菜鸟必须要掌握的一个例子，可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程 引入相关Hadoop目录相关Jar文件： （hdfs(必须),common（必须），mapreduce（必须）） 引入配置文件： cor
第五节Hadoop学习案例——MapReduce案例（WordCount）
qq_53114527的博客
10-10 4058
第五节Hadoop学习案例——MapReduce案例（WordCount）
【Hadoop实训】统计文件中所有单词的平均长度
一只大数据专业的傻猪猪
04-01 2425
统计文件中所有单词的平均长度
Hadoop（1）——Hadoop集群构建（12）——集群初体验
weixin_54348877的博客
10-11 1449
hadoop经典案例————单词统计 目录 hadoop经典案例————单词统计 1. 打开HDFS的UI界面，查看是否有数据文件，默认是没有数据文件。 2. 准备文本文件，在Linux系统上编辑一个文本文件，然后上传到HDFS上。 2.1 在/export目录下新建data目录，存放数据文件 2.2 在HDFS上创建目录 2.3 将word.txt文件上传到input文件夹下 3. 运行hadoop-mapreduce-examples-2.7.4.jar包，实现词频统计。 3.1 找.
大数据Hadoop学习(4)-MapReduce经典案例-单词统计
LoongKK的博客
05-04 2629
大数据Hadoop学习(4)-MapReduce经典案例-单词统计 MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行） 1. Hadoop经典案例——单词统计 1） 打开HDFS的UI界面，选择Utilities-Browse the file system可查看文件系统里的文件。使用-cat也可。 2） 准备文本文件，执行vi word.txt指令新建...
hadoop word count 单词统计
07-25
hadoop 入门程序 word count 完整代码, 可以处理hdfs文件和windows本地文件. 下载之后, 导入到IDEA, 修改pom.xml文件的jar包版本和hadoop集群版本一致,core-site.xml 配置和集群 etc/hadoop/core-site.xml一致. windows 本地hadoop开发环境配置所需文件, 请下载另一个资源
Hadoop_WordCount单词统计
热门推荐
BLU_111的博客
04-23 4万+
Hadoop_WordCount单词统计 创建hadoop02工程 pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/...
【Hadoop】Hadoop-wordcount单词统计
qwertyuiopasdfghjklzxcvbnm
09-22 493
pom.xml &amp;amp;amp;lt;properties&amp;amp;amp;gt; &amp;amp;amp;lt;hadoop.version&amp;amp;amp;gt;2.7.3&amp;amp;amp;lt;/hadoop.version&amp;amp;amp;gt; &amp;amp;amp;lt;/properties&amp;amp;amp;gt; &amp
Hadoop MapReduce 入门 单词统计
qq_34857620的博客
10-05 171
覆盖 mapper类的map方法和reducer类的reduce方法 感兴趣的可以一起交流，只是单纯的分享代码，如果需要详细指导可以私聊 package mapreduce; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Tex
Ubuntu的安装至文件MapReduce处理
weixin_48078204的博客
12-17 1458
一、在Windows中使用VirtualBox安装Ubuntu 1.安装前的准备 （1）打开VirtualBox，点击“创建”按钮，创建一个虚拟机 给虚拟机命名，选择操作系统，版本 如果您选择的系统是32位Ubuntu,那么版本请选择“Ubuntu (32 bit)” 如果您选择的系统是64位Ubuntu,那么版本请选择“Ubuntu (64 bit)” 如果界面中有“文件夹”选项，则在“文件夹”后面可以设置为本地磁盘目录，比如“D:\”。 （2）选择内存大小
hadoop集群-单词统计
qq_45855554的博客
11-21 3380
1.在用Hadoop进行单词统计前，要做好Hadoop的集群部署 输入上述命令，就能在浏览器中分别访问namenode:50070(namenode指的是你主节点的名字，这里我的主节点名字是namenode，50070是端口号）和namenode:8088,由此查看HDFS和YARN的web界面。如图所示： 接下来我们就可以进行单词统计啦。 2.首先，打开HDFS网页端，选择Utilities->Browse the file system 3.找一篇英语文章的TX..
hadoop单词统计详细样例
zhi_zixing的博客
12-23 507
准备工作： 环境信息 hadoop-2.8.5，jdk：“1.8.0_91” 具体环境搭建请参看https://blog.csdn.net/zhi_zixing/article/details/100520916 统计样本wordCountText.txt zixing zixing ziyue ziyang zicheng ziyu xingxing 使用idea不用安装hadoop插件，如果...
Hadoop入门实例——WordCount统计单词
yang_mang的博客
10-17 1943
首先要说明的是运行Hadoop需要jdk1.6或以上版本，如果你还没有搭建好Hadoop集群，请参考我的另一篇文章：
Hadoop自带WordCount进行词频统计
最新发布
04-24
### Hadoop WordCount 词频统计教程 Hadoop 的 `WordCount` 是一个经典的入门案例，用于演示如何通过 MapReduce 计算框架实现数据处理。以下是关于如何使用 Hadoop 自带的 `WordCount` 程序进行词频统计的具体说明。 #### 1. 准备工作 在运行 `WordCount` 程序之前，需要完成以下准备工作： - **安装并配置 Hadoop**：确保已经成功安装 Hadoop 并能够正常启动集群环境[^3]。 - **输入文件准备**：准备好待分析的文本文件，并将其上传到 HDFS 中作为输入数据源。可以使用如下命令将本地文件复制到 HDFS 上： ```bash hdfs dfs -put /path/to/local/input.txt /input/ ``` #### 2. 编写 WordCount 程序 如果未提供现成的 `WordCount` 源码，则可以根据标准模板编写 Java 类来定义 Mapper 和 Reducer 功能逻辑： ##### (a) Mapper 阶段 Mapper 负责读取每行记录并将其中的文字拆分为单独词语输出键值对形式 `<word, 1>` 表示该单词出现了一次。 ```java import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] tokens = line.split("\\s+"); for(String token : tokens){ word.set(token.toLowerCase()); context.write(word,one); } } } ``` 此处代码实现了基本功能即按空白符分割字符串[^1]。 ##### (b) Reducer 阶段 Reducer 接收来自多个 Mappers 输出相同 Key 对应的所有 Values 数组计算总数返回最终结果。 ```java import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; public class WordCountReduce extends Reducer<Text,IntWritable,Text,IntWritable>{ @Override public void reduce(Text key , Iterable<IntWritable> values ,Context context)throws IOException,InterruptedException{ int sum=0; for(IntWritable val:values){ sum +=val.get(); } context.write(key,new IntWritable(sum)); } } ``` 此部分完成了累加操作从而得出每个唯一关键词在整个文档集中总共出现了多少次数[^2]。 #### 3. 执行 Job 提交流程 构建好项目之后编译打包成 jar 文件提交给 hadoop 进程执行即可查看效果。 假设我们已创建名为 MyWC.jar 包含以上两个类以及驱动器组件Driver.java ，那么可以通过下面指令调用它： ```bash hadoop jar MyWC.jar com.example.WordCount /input/path /output/path ``` #### 总结 整个过程展示了怎样利用 Apache Hadoop 来解决大规模文本挖掘中的简单问题——统计各词汇频率分布情况。这不仅帮助理解 MapReduce 工作原理而且为进一步学习复杂算法打下基础。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蜗牛_Chenpangzi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值