Hadoop词频统计

最新推荐文章于 2022-07-02 20:56:38 发布
最新推荐文章于 2022-07-02 20:56:38 发布
阅读量1.9k 收藏 28
点赞数 2
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48336350/article/details/111830708
版权

Hadoop结课作业——mapreduce词频统计

前提

  • 已安装Hadoop下的两个组件HDFS和Mapreduce。
  • 已安装JAVA语言编译软件Eclipse或IDEA。
  • 新建一个任意内容的文本文件。
    在这里插入图片描述

制作jar包

  • 编写JAVA代码。
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
   
    public WordCount()
最低0.47元/天 解锁文章
Passerby...
关注
  • 2
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
在Hadoop中进行简单的词频统计
m0_46802377的博客
04-19 2560
在Hadoop中进行简单的词频统计 1.建立WCMapper 代码如下： import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class W...
Hadoop上MapReduce编程（词频）
weixin_53179027的博客
06-05 628
Hadoop词频统计实验
Hadoop词频统计（完整版）
01-05
完整的词频统计MapReduce版本。基于Hadoop2.2.0，包含一个十万单词左右的测试文件。请参照 http://blog.csdn.net/zythy/article/details/17888439 获取详细解说。
Hadoop经典案例：词频统计
C.W.J
06-06 9322
copy from @寒小阳 总体流程 Map阶段代码 排序阶段 Reduce阶段 本地模拟测试代码 Hadoop集群运行案例 这是一个非常经典的例子，几乎在任何的hadoop教材上都会看到它，即使如此，它依旧是最经典最有代表性的案例，学习大数据处理，可以从先理解清楚它入手。 总体流程 咱们来看看对特别大的文件统计，整个过程是如何分拆的。 大家想想词频统计的过程...
hadoop入门程序：词频统计
波点兔的博客
09-24 1347
1、在data文件夹下创建words文件 2、写文本 3、克隆会话 启动dfs和yarn sbin/start-dfs.sh 4、 bin/hadoop dfs -mkdir /nwnu 5、 6、上传文件至nwnu目录 bin/hdfs dfs -put /home/data/words /nwnu 7、 8、 bin/hadoop jar share/hadoop/m...
hadoop词频统计课设报告书.pdf
06-25
hadoop词频统计完整版！！！！！！！包含代码以及详细步骤。................................................................................................
基于hadoop的词频统计.docx
06-18
基于hadoop的词频统计，通过空格作为词频切分，简单统计了哈姆雷特节选的词频数量。
大数据 hadoop mapreduce 词频统计
10-23
在hadoop平台上，用mapreduce编程实现大数据的词频统计
手把手教你Hadoop环境搭建、词频统计demo及原理
11-16
本文档通过网络资源收集的资料整理，具有较强的实战性，可以一步一步让你从零基础到学会搭建Hadoop服务器，并能利用FS文件系统及mapreduce做词频统计，掌握其基本原理； 其中由于本人已搭建好的原因，有的图截不到...
Hadoop的词频统计源代码WordCount
06-03
Hadoop的词频统计源代码WordCount
Hadoop第五章：词频统计
weixin_50835854的博客
07-02 3195
Hadoop第一章：环境搭建 Hadoop第二章：集群搭建（上） Hadoop第二章：集群搭建（中） Hadoop第二章：集群搭建（下） Hadoop第三章：Shell命令 Hadoop第四章：Client客户端 Hadoop第四章：Client客户端2.0 Hadoop第五章：词频统计............
Hadoop 经典案例：词频统计
热门推荐
wcnmcsdn的博客
04-07 1万+
全文作为个人记录用。不做任何参考。环境搭建参考：http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html词频代码参考：https://blog.csdn.net/a60782885/article/details/713082561、环境搭建总共选择了3台虚拟机作为本次的主角master:192.168.21.130s...
Hadoop 词频统计（续）
zythy的专栏
01-05 6841
基于Hadoop2.2.0的词频统计实例，最终结果按出现频率排序。
HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计
Eli_Code
10-20 5351
实验三 实验题目： 假设HDFS 上有两个文件wordfile1.txt 和wordfile2.txt(其他文件也行），运行Hadoop 中自带的词频统计程序，对数据集进行词频统计。 一、准备工作： 1. 按CDH 环境说明文档配置 相对目录转到/user/hdfs ，那么新创建的用户文件夹bigdata***就在/user/ hdfs 目录之下。 2. 在Hdfs中创建wordfile1.txt 和wordfile2.txt文件 方法一：新建input文件夹，传到hdfs后，使用vim命令创建编辑txt
Hadoop之词频统计
浪灬迹-红尘少年的博客
05-24 1537
MR编程思路 -------------------------------- 0.词频统计：n个文件，每个文件有m行数据，每行数据由空格分割 如text1.txt hello world how are you? ni hao hello tom 如text2.txt zhang ...
hadoop 词频统计
分享我的点点滴滴，在成长路上与你同行！
04-24 1990
 1)先写words文件    2)再将words上传到hdfs中，可以直接运行     bin/hadoop fs -put /home/data/words指定文件路径  /words目标路 浏览器查看文件    可以单击Download下载;  必须配置: C:\Windows\System32\drivers\etc\hosts   192.168.X.X  hlx    2)查看案例  ...
hadoop词频统计
最新发布
12-09
Hadoop词频统计是指使用Hadoop框架对大规模文本数据进行词频统计。下面是Hadoop词频统计的步骤： 1.准备数据：将需要进行词频统计的文本数据存储在HDFS中。 2.编写Mapper程序：Mapper程序的作用是将输入的文本数据进行分词，并将每个单词作为key，将出现次数作为value输出。 3.编写Reducer程序：Reducer程序的作用是将Mapper程序输出的key-value对进行合并，得到每个单词在文本中出现的总次数。 4.配置Job并提交任务：将Mapper和Reducer程序打包成jar包，并通过Hadoop提供的命令将任务提交到YARN集群中运行。 5.查看结果：任务运行完成后，可以通过Hadoop提供的命令将结果从HDFS中读取出来。 下面是一个简单的Hadoop词频统计的Mapper程序的Python代码： ```python #!/usr/bin/env python import sys # 读取输入数据 for line in sys.stdin: # 去除首尾空格 line = line.strip() # 分词 words = line.split() # 输出每个单词的出现次数 for word in words: print('%s\t%s' % (word, 1)) ``` 下面是一个简单的Hadoop词频统计的Reducer程序的Python代码： ```python #!/usr/bin/env python import sys # 初始化变量 current_word = None current_count = 0 # 处理输入数据 for line in sys.stdin: # 去除首尾空格 line = line.strip() # 解析输入数据 word, count = line.split('\t', 1) count = int(count) # 如果当前单词与上一个单词不同，则输出上一个单词的统计结果 if current_word and current_word != word: print('%s\t%s' % (current_word, current_count)) current_count = 0 # 更新当前单词的统计结果 current_word = word current_count += count # 输出最后一个单词的统计结果 if current_word: print('%s\t%s' % (current_word, current_count)) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值