大数据MapReduce(Java实现)

最新推荐文章于 2024-07-26 02:53:26 发布

Stephaniejx

最新推荐文章于 2024-07-26 02:53:26 发布

阅读量1.3k

点赞数 1

本文链接：https://blog.csdn.net/stephaniejx/article/details/82557893

版权

本文详细介绍了使用Java实现大数据MapReduce的过程，主要关注MapReduce的流程，包括Map阶段将大任务拆分为小任务，Reduce阶段进行数据汇总。关键点在于理解Map和Reduce操作中的key-value对，以及在Java中如何编写WordCountMain、WordCountMap和WordCountReduce类。最终将源码打包成jar文件并在HDFS上运行，完成简单的MapReduce任务。

摘要由CSDN通过智能技术生成

一、MapReduce流程分析

Map的任务是将大任务转换成小任务，Reduce是汇总的意思

注意：

1、所有的输入和输出都是key-value类型，总共四对

2、key2 value2和key3 value3数据类型一致，value3是一个集合，集合中的每个元素是value2

k1 value分别是偏移量和输入的数据 k2 value2是进行分词后的单词和频率 k3 value3 ，value3是一个集合

是value2的集合，这一步已经开始Reducer阶段，k4 value4是将value3中的集合进行计算得到的最终结果

java源码实现

结构分别来WordCountMain、WordCountMap、WordCountReduce

WordCountMain代码

package demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.sun.jersey.core.impl.provider.entity.XMLJAXBElem