Hadoop经典案例——单词统计

最新推荐文章于 2024-04-15 15:28:23 发布
最新推荐文章于 2024-04-15 15:28:23 发布
阅读量1.1w 收藏 71
点赞数 15
分类专栏： 大数据 文章标签： centos linux hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45990326/article/details/121432017
版权

通过 Hadoop经典案例——单词统计，来演示 Hadoop集群的简单使用。

(1）打开 HDFS 的 UI,选择Utilities→Browse the file system查看分布式文件系统里的数据文件，可以看到新建的HDFS上没有任何数据文件。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
(2）先在集群主节点namenode上的/export/data/目录下，执行“vi word. txt”指令新建一个 word. txt文本文件，并编写一些单词内容。

[root@namenode data]# vi word.txt

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
Hadoop实战练习---编程实现单词统计
m0_63324772的博客
05-11 1047
Hadoop实战练习---编程实现单词统计
Hadoop单词统计实践：结果分析全流程详尽指南
weixin_74865657的博客
03-23 1633
Hadoop的单词统计（Word Count）是一个经典的MapReduce示例，用于计算输入文本文件中每个单词出现的次数。本指南旨在帮助读者在搭建完Hadoop集群后运行单词统计程序，并最终分析输出结果，全程详细解析，帮助读者深入理解大数据处理的核心流程。通过虚拟机实现Hadoop单词统计是一个很好的学习和实践大数据处理的方式。通过搭建Hadoop集群、准备数据、运行作业，这不仅增强了我们对大数据处理流程的理解，也提高了我们运用Hadoop进行实际数据处理的能力。
Hadoop 经典案例：词频统计
wcnmcsdn的博客
04-07 1万+
全文作为个人记录用。不做任何参考。环境搭建参考：http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html词频代码参考：https://blog.csdn.net/a60782885/article/details/713082561、环境搭建总共选择了3台虚拟机作为本次的主角master:192.168.21.130s...
【李老师云计算】实验一：Hadoop伪分布式集群部署与Eclipse访问Hadoop进行单词计数统计_hadoop单词统计eclipse
2401_84170244的博客
04-15 819
直接复制以下指令到终端(鼠标中键)，其中需要修改的是Slave1-60(改为自己的从机主机名或ip)，后面的是存放在从机的地址(必须先在从机上完成8.1-8.4保证从机有这个目录)。我们可能需要来回切换设置这三台虚拟机，从一台换到另一台的时候可能已经进入待机模式了，需要重新输入密码进入，怪麻烦的，下面给出关闭待机的方法。我用的是Hadoop-3.3.1，下面的操作只要是Hadoop-3.x应该都是适用的，但是Hadoop-2.x可能有细枝末节的地方不太相同，一百个字的实验文档轻飘飘的话，剩下全靠自己悟。
hadoop单词统计
weixin_45732058的博客
11-15 3300
hadoop单词统计一.hadoop环境搭建二.hadoop单词统计 本篇文章简单实现hadoop功能之一WordCount统计单词，若未搭建hadoop环境建议参考下方链接搭建好环境再进一步操作。 一.hadoop环境搭建 建议参考《Hadoop的搭建，VmwareWorkstation 16pro + Ubuntu18.04.1》, https://blog.csdn.net/qq_43249582/article/details/116757548?utm_source=app&app_ver
hadoop简单单词统计
07-09
第一次实现hadoop上的程序，内含jar包和用例，算迈出大数据的第一步吧。。
Hadoop的简单单词统计案例
Youda的博客
09-15 1687
Hadoop的简单单词统计案例 在Hadoop学习过程中，单词统计作为一个最基本的案例，非常简单实用，是每一个入门菜鸟必须要掌握的一个例子，可以通过这个简单的小案例了解Hadoop的基本运行原理和MapReduce程序的开发流程 引入相关Hadoop目录相关Jar文件： （hdfs(必须),common（必须），mapreduce（必须）） 引入配置文件： cor
大数据Hadoop学习(4)-MapReduce经典案例-单词统计
LoongKK的博客
05-04 2592
大数据Hadoop学习(4)-MapReduce经典案例-单词统计 MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行） 1. Hadoop经典案例——单词统计 1） 打开HDFS的UI界面，选择Utilities-Browse the file system可查看文件系统里的文件。使用-cat也可。 2） 准备文本文件，执行vi word.txt指令新建...
第五节Hadoop学习案例——MapReduce案例（WordCount）
qq_53114527的博客
10-10 4039
第五节Hadoop学习案例——MapReduce案例（WordCount）
【Hadoop实训】统计文件中所有单词的平均长度
一只大数据专业的傻猪猪
04-01 2401
统计文件中所有单词的平均长度
hadoop word count 单词统计
07-25
hadoop 入门程序 word count 完整代码, 可以处理hdfs文件和windows本地文件. 下载之后, 导入到IDEA, 修改pom.xml文件的jar包版本和hadoop集群版本一致,core-site.xml 配置和集群 etc/hadoop/core-site.xml一致. windows 本地hadoop开发环境配置所需文件, 请下载另一个资源
Hadoop（1）——Hadoop集群构建（12）——集群初体验
weixin_54348877的博客
10-11 1437
hadoop经典案例————单词统计 目录 hadoop经典案例————单词统计 1. 打开HDFS的UI界面，查看是否有数据文件，默认是没有数据文件。 2. 准备文本文件，在Linux系统上编辑一个文本文件，然后上传到HDFS上。 2.1 在/export目录下新建data目录，存放数据文件 2.2 在HDFS上创建目录 2.3 将word.txt文件上传到input文件夹下 3. 运行hadoop-mapreduce-examples-2.7.4.jar包，实现词频统计。 3.1 找.
Hadoop_WordCount单词统计
热门推荐
BLU_111的博客
04-23 4万+
Hadoop_WordCount单词统计 创建hadoop02工程 pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/...
【Hadoop】Hadoop-wordcount单词统计
qwertyuiopasdfghjklzxcvbnm
09-22 487
pom.xml &amp;amp;amp;lt;properties&amp;amp;amp;gt; &amp;amp;amp;lt;hadoop.version&amp;amp;amp;gt;2.7.3&amp;amp;amp;lt;/hadoop.version&amp;amp;amp;gt; &amp;amp;amp;lt;/properties&amp;amp;amp;gt; &amp
Hadoop MapReduce 入门 单词统计
qq_34857620的博客
10-05 165
覆盖 mapper类的map方法和reducer类的reduce方法 感兴趣的可以一起交流，只是单纯的分享代码，如果需要详细指导可以私聊 package mapreduce; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Tex
Ubuntu的安装至文件MapReduce处理
weixin_48078204的博客
12-17 1420
一、在Windows中使用VirtualBox安装Ubuntu 1.安装前的准备 （1）打开VirtualBox，点击“创建”按钮，创建一个虚拟机 给虚拟机命名，选择操作系统，版本 如果您选择的系统是32位Ubuntu,那么版本请选择“Ubuntu (32 bit)” 如果您选择的系统是64位Ubuntu,那么版本请选择“Ubuntu (64 bit)” 如果界面中有“文件夹”选项，则在“文件夹”后面可以设置为本地磁盘目录，比如“D:\”。 （2）选择内存大小
hadoop集群-单词统计
qq_45855554的博客
11-21 3336
1.在用Hadoop进行单词统计前，要做好Hadoop的集群部署 输入上述命令，就能在浏览器中分别访问namenode:50070(namenode指的是你主节点的名字，这里我的主节点名字是namenode，50070是端口号）和namenode:8088,由此查看HDFS和YARN的web界面。如图所示： 接下来我们就可以进行单词统计啦。 2.首先，打开HDFS网页端，选择Utilities->Browse the file system 3.找一篇英语文章的TX..
hadoop单词统计详细样例
zhi_zixing的博客
12-23 499
准备工作： 环境信息 hadoop-2.8.5，jdk：“1.8.0_91” 具体环境搭建请参看https://blog.csdn.net/zhi_zixing/article/details/100520916 统计样本wordCountText.txt zixing zixing ziyue ziyang zicheng ziyu xingxing 使用idea不用安装hadoop插件，如果...
Hadoop入门实例——WordCount统计单词
yang_mang的博客
10-17 1938
首先要说明的是运行Hadoop需要jdk1.6或以上版本，如果你还没有搭建好Hadoop集群，请参考我的另一篇文章：
词频统计hadoop
最新发布
03-13
### Hadoop环境下的词频统计实现 #### 使用MapReduce框架编写WordCount程序 Hadoop是一个开源的分布式计算框架，广泛应用于大数据处理和分析任务中[^1]。对于词频统计这一常见的文本分析操作，可以通过Hadoop MapReduce框架来高效完成。 具体来说，词频统计指的是计算一段文本中每个单词出现的次数。为了在Hadoop环境下实现此功能，可以采用经典的`WordCount`案例作为起点[^2]： - **Mapper阶段**：读取输入文件中的每一行，并将其分割成多个单词；之后针对每一个单词输出键值对形式的数据，其中键为单词本身，而值设为1表示该单词被发现了一次。 ```java public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken().toLowerCase()); // 转换为小写以忽略大小写的差异 context.write(word, one); // 输出<word, 1> } } } ``` - **Reducer阶段**：接收来自不同Mapper实例产生的相同关键词对应的数值列表，累加这些数值得到最终的结果——即某个特定词语在整个文档集合里总共出现了多少次。 ```java public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); // 对应于同一个key的所有value求和 } result.set(sum); context.write(key, result); // 输出<word, total_count> } } ``` 上述代码片段展示了如何利用Java语言构建一个基本版本的`WordCount`应用。当运行这个作业时，用户需先准备好待处理的数据集，并按照指引将它们上传至HDFS系统中[^3]。接着配置好Job参数提交给集群执行即可获得所需的统计报告。 #### 数据准备与验证 假设已经有一个名为`my.txt`的纯文本文件位于用户的主目录下，则可通过如下指令序列来进行后续的操作： ```bash # 创建远程路径/user/username/ hdfs dfs -mkdir -p /user/$USER # 将本地文件上传到指定位置 hdfs dfs -put ~/my.txt /user/$USER/ # 查看已成功传输的内容 hdfs dfs -cat /user/$USER/my.txt ``` 以上命令帮助确认源材料已被正确加载到了目标环境中，从而为下一步启动MapReduce任务奠定了基础。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蜗牛_Chenpangzi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值