从WordCount词频统计简单来看：MapReduce的执行流程

最新推荐文章于 2022-09-25 19:44:39 发布
VIP文章 最新推荐文章于 2022-09-25 19:44:39 发布
阅读量2.3k 收藏 10
点赞数 2
分类专栏： hadoop 文章标签： mapreduce hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41639302/article/details/107074504
版权

使用MapReduce来实现WordCount词频统计的代码

1、需要的maven依赖包

<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0<<
最低0.47元/天 解锁文章
白修修
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
头歌大数据MapReduce基础运用
zxc872202364的博客
10-17 6485
WordCount词频统计 HDFS文件读写 倒排索引 网页排序——PageRank算法 头歌
WordCount词频统计
热门推荐
weixin_44686879的博客
12-23 1万+
WordCount词频统计 from educoder实训 实训项目地址：https://www.educoder.net/shixuns/aekgf6pz/challenges 本关任务 词频统计是最能体现MapReduce思想的程序，结构简单，上手容易。 词频统计的大致功能是：统计单个或者多个文本文件中每个单词出现的次数，并将每个单词及其出现频率按照<k，v>键值对的形式输出，其基本执行流程如下图所示： 由图可知： 输入文本（可以不只一个），按行提取文本文档的单词，形成行<k1，v
MapReduce词频统计【自定义复杂类型、自定义Partitioner、NullWritable使用介绍】
zp的博客
04-08 1515
一、MapReduce1.0运行模型 二、MapReduce编程模型之执行步骤 1、准备map处理的输入数据 2、交给Mapper进行处理 3、Shuffle【规则可以自己控制】 4、Reduce处理[合并、归并] 5、输出 MapReduce处理流程 InputFormat读数据，通过Split将数据切片成InputSplit，通过RecordReader读取记...
MapReduce词频统计
qq_36800511的博客
09-25 1512
MapReduce，用一句话概括就是：分而治之。
Flink学习3-WordCount词频统计
yuchenshu89757的博客
06-27 2380
基于Flink开发环境，接下来我们将完成Flink版本的词频统计程序，主要内容如下：输入几行句子，统计并输出句子中每个单词出现的次数，词与词之间通过空格分割。根据以上描述，词频统计程序主要包含数据读取、分词、统计和输出四个子模块。正式开发前还需要选择Flink处理模式，Flink是流批一体的大数据计算引擎，既支持流处理，也支持批处理，区别在这里就不再赘述，具体到这个需求，很显然采用批处理模式更合适，不过也可以采用流处理模式，相关实现后续会给出。...
Hadoop集群（WordCount）词频统计 MapReduce 词频统计 MapReduce案例 Linux
最新发布
10-28
文章链接：http://t.csdnimg.cn/Ia8zW Hadoop MapReduce程序，用于实现词频统计任务。通过Hadoop集群来处理大量的文本数据
词频统计hadoop mr
04-12
简单词频统计，带有注释，方便大家入门hadoop！具体的大家请自己看
hadoop:WordCount词频统计以及倒排索引的hadoop实现
06-10
hadoop hadoop课程主页 这里是我的一些hadoop程序 最基本的wordcount，倒排索引，还有一个是对倒排索引的排序。数据用的是hadoop课程上给的武侠小说的数据。
大数据学习（七）：mapreduce实现wordcount计数
01-07
mapreduce 0.0.1-SNAPSHOT mapreduce http://maven.apache.org UTF-8 org.apache.hadoop hadoop-client 2.8.1 一、在eclipse使用main方法提交给集群yarn运行mapreduce 1、计数mapper实现 package ...
R语言版本的词频统计wordcount
11-30
R语言版本的词频统计
大数据技术原理与运用习题总结
qq_59641085的博客
11-05 8327
第一章 大数据概述 1．【单选题】大数据的4V特性不包括________。 A、数据量大 B、数据类型繁多 C、数据传输快 D、价值密度低 答案：C 2 .【单选题】下列哪个不是大数据时代的新兴技术________。 A、Hadoop B、Spark C、HBase D、SQL Server 答案：D 3.【单选题】就数据的量级而言，1PB的数据是_______TB。 A、1024 B、1000 C、1024×1024 D、512 答案：A 4 ...
MapReduce图解（流程）
weixin_48508747的博客
05-18 687
注： 这里面一共拥有着4个maptask和3个reducetask 这里的task在本质上是一个线程对象 map端： 1.进行文件进行切片，默认一个block对应一个切片（一个block大小默认为128M）一个切片是由一个maptask处理的 2.执行自定义的map端的代码逻辑 3.将数据写入到内存环形缓冲区，默认大小为100M，当写到80M时开始溢写到磁盘中 4.对数据做分区和排序，这里的分区指的是hash分区，快速排序 5.合并多个小文件，并且进行归并排序。 reduce端： ...
基于MapReduce的词频统计过程分析
weixin_46529416的博客
11-17 3336
问题提出： 假设HDFS中/user/hadoop/input文件夹下有文件wordfile1.txt和wordfile2.txt。现在需要设计一个词频统计程序，统计input文件夹下所有文件中每个单词的出现次数。 运行过程： 1.Map输入<key,value>形式，即 map第一个任务： <1,I love spark> <1,I love hadoop> map第二个任务： <1,hadoop is good> <2，spark is fas
MapReduce01——词频统计
yeyu_xing的博客
02-16 1344
1、有words.txt文件内容如下，其中以制表符分割 Python Java Java C Python C Python 2、分析 map阶段 1、进行非空和长度等于0的判断，确保读取到每行数据没有问题 2、mapreduce会一行一行地读取文件，读取后将其以制表符分割，就能得到一个字符串数组 3、遍历字符串数组，将其以<key, value>的形式输出，value为1。输出后mapreduce会将相同的key合并在一起 reduce阶段 1、因为map阶段将相同的key聚合在一起，所以键
MapReduce编程 -词频统计
qq_43536259的博客
06-16 2177
MapReduce 程序会根据输入的文件产生多个 map 任务 Hadoop 提供的 Mapper 类是 实现 Map 任务的一个抽象基类，该基类提供了一个 map( ）方法 默认悄况下， Mapper 类中 map( ）方法是没有做任何处理的如果想自定义 map( ）方法．只需要继承 Mapper 类并重写 map( ）方法即可WordCountMapper.java Map 过程输出的键值对，将由 Reducer 组件进行合并处理当用户的应用程序调用 Reducer 类的是时候， 会直接调用 Reduc
Hadoop【基础知识 02】【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
シ風
07-27 573
1.MapReduce概述 Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop 集群上用于并行处理大规模的数据集。 MapReduce 作业通过将输入的数据集拆分为独立的块，这些块由 map 以并行的方式处理，框架对map 的输出进行排序，然后输入到 reduce 中。MapReduce 框架专门用于 <key，value> 键值对处理，它将作业的输入视为一组 <key，value> 对，并生成一组 <k
MapReduce初见：词频统计
FigBB的博客
12-30 1703
二、环境介绍 在 VMware Workstation Pro虚拟机环境中安装 Ubuntu系统，并在 Ubuntu 中安装 Hadoop，Eclipse，以及二者所需 Java运行环境（jdk1.8），配置并运行 Hadoop 伪分布式。在Eclipse官网下载压缩版 Eclipse 2021-09进行安装，并使用eclipse-hadoop-plugin插件辅助开发。将待分析的文件上传至 HDFS， 三、数据来源及数据上传 准备一个英文文本，这里使用MySQL官网文档部分截取（来源：https://de
Hadoop经典案例：词频统计
C.W.J
06-06 9299
copy from @寒小阳 总体流程 Map阶段代码 排序阶段 Reduce阶段 本地模拟测试代码 Hadoop集群运行案例 这是一个非常经典的例子，几乎在任何的hadoop教材上都会看到它，即使如此，它依旧是最经典最有代表性的案例，学习大数据处理，可以从先理解清楚它入手。 总体流程 咱们来看看对特别大的文件统计，整个过程是如何分拆的。 大家想想词频统计的过程...
MapReduce 初识+案例（词频统计）
weixin_47243236的博客
11-23 4492
1. MapReduce 1.1 MapReduce 是什么 MapReduce：是 Hadoop 中的一个分布式计算框架，基于 MapReduce 写出的应用程序能够运行在大型集群上，并以一种可靠容错的方式并行处理上 T 级别的数据集。 一个 MapReduce 作业（Job）通常会把输入的数据切分为若干个独立的数据块，由 Map 任务（Task）以完全并行的方式处理它们。框架会对 Map 的输出先进行排序，然后把结果输入给 Reduce 任务，通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任
头歌Hadoop WordCount词频统计
05-17
好的，以下是一个简单的 Hadoop WordCount 词频统计程序示例： Mapper 类： ```java import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class WordCountMapper extends Mapper<LongWritable, Text, Text, LongWritable> { @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); // 将每一行按空格分隔成多个单词 String[] words = line.split(" "); // 遍历每个单词，发送到 Reducer 进行统计 for (String word : words) { context.write(new Text(word), new LongWritable(1)); } } } ``` Reducer 类： ```java import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class WordCountReducer extends Reducer<Text, LongWritable, Text, LongWritable> { @Override public void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException { long sum = 0; // 遍历同一个单词的所有出现次数，求和 for (LongWritable value : values) { sum += value.get(); } // 将单词和出现次数发送到输出 context.write(key, new LongWritable(sum)); } } ``` Main 方法： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在执行该程序时，需要在命令行中输入以下命令： ```bash hadoop jar WordCount.jar WordCount /input /output ``` 其中，第一个参数 WordCount.jar 是打包好的程序文件，第二个参数 WordCount 表示程序的类名，后面的 /input 和 /output 分别是输入和输出的路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值