MapReduce编程模型及实现WordCount

最新推荐文章于 2024-09-25 15:39:39 发布
最新推荐文章于 2024-09-25 15:39:39 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： hadoop 文章标签： mapreduce 分布式计算 海量数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/b_x_p/article/details/78450228
版权

思想

  • 分而治之
  • map：对每一部分数据进行处理
  • reduce：合并

编程模型

  • 一种分布式计算模型，解决海量数据的计算问题
  • MapReduce将整个并行计算过程抽象到两个函数中
    • map（映射）：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度合并。
    • reduce（化简）：对一个列表的元素进行合并
  • 一个简单的MapReduce程序只需要指定map(),reduce(),input和output,剩下的事情由框架完成。

数据传输

input(key-value) ->map(key-value) ->reduce(key-value) ->output(key-value)
整个过程数据传输的过程都是通过key-value形式

编写WordCount程序

首先MapReduce中，map和reduce函数遵循如下常规格式：
map:(k1, V1) -> list:(k2, V2)
reduce:(k2,list( V2)) -> list:(k3, V3)
Mapper的基类：

//继承Mapper类，并重写以下方法
protected void map(KEY inKey, VALUE inValue, 
Context context) throws IOException, InterruptedException
{}

Reducer的基类

//继承Reducer类，并重写以下方法
protected void reduce(KEY inKey, Iterable<VALUE> inValues, 
Context context) throws IOException, InterruptedException
{}

分析WordCount执行过程
1、由于在mapreduce程序中，数据都是以key-value形式进行传输，在读取文件中的数据的时候，会将文件中的数据转换成key-value的形式：
这里写图片描述
如上图所示，最初是将文件中的数据以每一行的数据位value，以每一行的偏移量为key进行存储的，即：<行偏移量， 行数据>，即map方法接受的参数为inKey = 行偏移量， inValue = 行数据。

2、从map中输出的数据也是key-value形式。在map中得到<行偏移量， 行数据>这样的数据后，将数据以行通过”空格”进行分割，将分割后的字符串数组直接遍历输出，此时的key是单词字符串，value为单词的数量（此时输出均为1）。map输出的数据如下所示：
这里写图片描述
3、map过程结束后，mapreduce框架将进行shuffle过程，此过程将进行分组，将相同key的value合并在一起，放到一个集合中，此时shuffle过程会默认按照key进行排序，将合并并排序后的key-values传给reduce方法，传给reduce方法的数据如下：
这里写图片描述
4、reducer得到数据后，只需要将每个key对应的values进行统计输出即可。
这里写图片描述

具体代码实现：

public class WordCount {
    /*
    step1 :map class
    Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
    */
    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private Text mapOutputKey = new Text();
        private static final IntWritable mapOutputValue = new IntWritable(1);
        @Override
        public void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            //String[] strs = line.split(" ");不使用此方法，由于此方法太消耗内存，而数据量较大
            StringTokenizer stringTokenizer = new StringTokenizer(line);
            while(stringTokenizer.hasMoreTokens()){
                String wordValue = stringTokenizer.nextToken();
                //设置值
                mapOutputKey.set(wordValue);
                //输出
                context.write(mapOutputKey, mapOutputValue);
            }
        }
    }

    //step2 :reduce class
    public static class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
        private IntWritable outputValue = new IntWritable();
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                              Context context) throws IOException, InterruptedException {
            //(key values) = (key, list(1, 1, 1))
            int sum = 0;
            for(IntWritable value : values){
                sum += value.get();
            }
            outputValue.set(sum);
            context.write(key, outputValue);
        }
    }

    //step3 :driver
    public  int run(String[] arg0) throws Exception{
        //读取配置文件信息
        Configuration conf = new Configuration();
        //创建Job
        Job job = Job.getInstance(conf, this.getClass().getSimpleName());
        //设置运行的jar
        job.setJarByClass(this.getClass());

        //设置input
        Path inpath = new Path(arg0[0]);
        FileInputFormat.addInputPath(job, inpath);

        //设置map
        job.setMapperClass(WordCountMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //设置reduce
        job.setReducerClass(WordCountReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //设置output
        Path outpath = new Path(arg0[1]);
        FileOutputFormat.setOutputPath(job, outpath);

        //提交job,设置为true会在运行的时候打印日志信息
        boolean isSuccess = job.waitForCompletion(true);
        return isSuccess ? 0 : 1;
    }
    public static void main(String[] args) throws Exception {
        int status = new WordCount().run(args);
        System.exit(status);
    }
}

测试程序

1、将程序打成jar包
2、执行

bin/yarn jar jars/hadooptest.jar com.bxp.hadooptest.mapreduce.WordCount  /user/bxp/mapreduce/wordcount/input /user/bxp/mapreduce/wordcount/output3

3、查看程序运行结果

bin/hdfs dfs -cat /user/bxp/mapreduce/wordcount/output1/part-r-00000

MapReduce程序标准写法

与上面代码区别：
1、extends Configured implements Tool 实现Tool接口的run()方法
2、在main方法中创建Configuration对象
3、在run()方法中通过Configured的get()方法获取main()中创建的Configuration实例对象。

具体代码如下：

public class WordCountMapReduce extends Configured implements Tool{
    /*
    step1 :map class
    Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
    */
    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private Text mapOutputKey = new Text();
        private static final IntWritable mapOutputValue = new IntWritable(1);
        @Override
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            //String[] strs = line.split(" ");不使用此方法，由于此方法太消耗内存，而数据量较大
            StringTokenizer stringTokenizer = new StringTokenizer(line);
            while(stringTokenizer.hasMoreTokens()){
                String wordValue = stringTokenizer.nextToken();
                //设置值
                mapOutputKey.set(wordValue);
                //输出，此处的输出结果通过shuffle过程后传入reduce
                context.write(mapOutputKey, mapOutputValue);
            }
        }
    }

    //step2 :reduce class
    public static class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
        private IntWritable outputValue = new IntWritable();
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                              Context context) throws IOException, InterruptedException {
            //(key values) = (key, list(1, 1, 1))
            int sum = 0;
            for(IntWritable value : values){
                sum += value.get();
            }
            outputValue.set(sum);
            context.write(key, outputValue);
        }
    }

    //step3 :driver
    public  int run(String[] arg0) throws Exception{
//        Configuration configuration = new Configuration();
        //读取配置文件信息
        Configuration conf = getConf();
        //创建Job
        Job job = Job.getInstance(conf, this.getClass().getSimpleName());
        //设置运行的jar
        job.setJarByClass(this.getClass());

        //设置input
        Path inpath = new Path(arg0[0]);
        FileInputFormat.addInputPath(job, inpath);

        //设置map
        job.setMapperClass(WordCountMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //设置reduce
        job.setReducerClass(WordCountReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //设置output
        Path outpath = new Path(arg0[1]);
        FileOutputFormat.setOutputPath(job, outpath);

        //提交job,设置为true会在运行的时候打印日志信息
        boolean isSuccess = job.waitForCompletion(true);
        return isSuccess ? 0 : 1;
    }
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
//        int status= new WordCountMapReduce().run(args);
        int status = ToolRunner.run(configuration, new WordCountMapReduce(), args);

        System.exit(status);
    }
}

MapReduce程序模版

将具体的业务逻辑留给用户实现，将程序抽取成以下模版，写MapReduce程序时，只需要在//TODO填写具体的业务逻辑即可：

public class MapReduceModel extends Configured implements Tool{

   //TODO  map的输出类型
    public static class ModelMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        @Override
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
           //TODO     具体的map的业务逻辑

        }
    }

    //step2 :reduce class
    //TODO    reduce的输入输出类型
    public static class ModelReduce extends Reducer<Text, IntWritable, Text, IntWritable>{
        private IntWritable outputValue = new IntWritable();
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                              Context context) throws IOException, InterruptedException {
            //TODO     具体的reduce的业务逻辑
        }
    }

    //step3 :driver
    public  int run(String[] arg0) throws Exception{
//        Configuration configuration = new Configuration();
        //读取配置文件信息
        Configuration conf = getConf();
        //创建Job
        Job job = Job.getInstance(conf, this.getClass().getSimpleName());
        //设置运行的jar
        job.setJarByClass(this.getClass());

        //设置input
        Path inpath = new Path(arg0[0]);
        FileInputFormat.addInputPath(job, inpath);

        //设置map
        //TODO    需要修改ModelMapper
        job.setMapperClass(ModelMapper.class);
        //TODO    需要修改map的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //设置reduce
        //TODO    需要修改ModelReduce
        job.setReducerClass(ModelReduce.class);
        //TODO    需要修改reduce的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //设置output
        Path outpath = new Path(arg0[1]);
        FileOutputFormat.setOutputPath(job, outpath);

        //提交job,设置为true会在运行的时候打印日志信息
        boolean isSuccess = job.waitForCompletion(true);
        return isSuccess ? 0 : 1;
    }
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
//        int status= new WordCountMapReduce().run(args);
        int status = ToolRunner.run(configuration, new MapReduceModel(), args);

        System.exit(status);
    }
}

模版优化：
Mapper类和Reducer类中。可以去实现父类的setup()和cleanup()方法

  protected void setup(Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException {
    }
    protected void cleanup(Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException {
    }

此两个方法分别是在map和reduce方法执行之前和之后去执行，比如创建数据库的链接和链接的释放可以在这两个方法中执行。

是小白哇
关注
专栏目录
MapReduce编程模型
AI天才研究院
08-11 161
MapReduce 是 Google 提出的一个分布式计算框架，主要用于大数据集（Big Data）的并行处理。其核心思想是将大量的数据分割成独立的块，然后在多个节点上并行地对这些块进行处理，最后汇总所有结果形成最终的输出结果。其主要的特点包括：1、高容错性：集群中的任何一个节点失效都不会影响到整个系统的运行。2、可扩展性：通过增加机器，可以提升处理能力，系统可以自动的平衡负载。3、易于编程：MapReduce 的编程模型易于理解和掌握。
使用MapReduce实现WordCount
WWW_SYR的博客
07-16 4151
1、MapReduce 开发流程 搭建开发环境，参考HDFS 环境搭建，基本一致 基于MapReduce 框架编写代码 编译打包，将源代码和依赖jar 包打成一个包 上传至运行环境 运行hadoop jar 命令，现已由yarn jar 替代，建议使用新命令提交执行 具体提交命令为： yarn jar testhdfs-jar-with-dependencies.jar com.tia...
map-reduce
guang11cheng的专栏
03-20 4724
MapReduce的名字源于函数式编程模型中的两项核心操作：Map和Reduce。也许熟悉Functional Programming(FP)的人见到这两个词会倍感亲切。因为Map和Reduce这两个术语源自Lisp语言和函数式编程。Map是把一组数据一对一的映射为另外的一组数据，其映射的规则由一个函数来指定。Reduce是对一组数据进行归约，这个归约的规则由一个函数指定。Map是一个把数据分开的
mapreduce-wordcount-源码解析
最新发布
xhcx_25的博客
09-25 471
public void reduce(Text key, Iterable values, Reducer.Context context) throws IOException, InterruptedException { // 归约方法。// 导入输入文件格式。
MapReduce实现WordCount
NC_NE的博客
06-06 2441
一、MapReduce 核心编程思想 主要为map阶段和reduce阶段,如图 二、MapReduce 进程 （1）MrAppMaster：负责整个程序的过程调度及状态协调。 （2）MapTask：负责 Map 阶段的整个数据处理流程。 （3）ReduceTask：负责 Reduce 阶段的整个数据处理流程。 三、MapReduce 编程规范 用户编写的程序分成三个部分：Mapper、Reducer 和 Driver。 1．Mapper阶段 （1）用户自定义的类要继承Mapper类 .
mapreduce编程模型你知道多少？
Java编程语言学习专栏
07-04 1487
上次新霸哥给大家介绍了一些hadoop的相关知识，发现大家对hadoop有了一定的了解，但是还有很多的朋友对mapreduce很模糊，下面新霸哥将带你共同学习mapreduce编程模型。 　　mapreduce编程模型可以利用大量的商用服务器构成大规模集群来解决处理千兆级别的数据量问题。mapreduce编程模型有两个比较独立的步骤，分别是map和reduce 　　
Mapreduce wordCount
行人事，知天命
07-09 535
Mapreduce wordCount例子 package com.heima.hadoop; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org
"深入理解MapReduce编程模型及wordcount实现
总的来说，本文详细介绍了MapReduce编程模型以及WordCount示例的实现过程，展示了MapReduce框架在大数据处理领域的重要作用。通过学习和掌握MapReduce框架，我们可以更高效地处理大规模数据，提高数据处理的效率和...
MapReduce编程模型解析：从WordCount实例入门
"分布式计算框架MapReduce，包括MapReduce的起源、主要特点、适用场景以及MapReduce编程模型的介绍，特别提到了MapReduce在Hadoop中的实现和经典的WordCount案例。" MapReduce是一种由Google提出的分布式计算框架，...
实验项目 MapReduce 编程
04-18
实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型，这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...
mapreduce-wordcount
08-05
wordcount, mapreduce经典，文字计数
Mapreduce Wordcount
qq_42933029的博客
11-29 296
任务步骤 1.切换目录到/apps/hadoop/sbin下，启动hadoop。 view plain copy cd /apps/hadoop/sbin ./start-all.sh 2.在linux上，创建一个目录/data/mapreduce1。 view plain copy mkdir -p /data/mapreduce1 3.切换到/data/mapreduce1目录下，使用wget...
MapReduce WordCount
Martin Jiang的专栏
08-06 1132
自己写MapReduce，遇到几个坑，其他地方查不到或者意见不统一，这里记录一下。
Mapreduce--wordcount
qw311113qin的博客
08-09 333
Mapreduce实现第一个wordcount 1、数据 [root@master mapreduce_wordcount_python]# ls 1.data map_new.py red_new.py run.sh The_Man_of_Property.txt 数据是一篇文章 [root@master mapreduce_wordcount_python]# head T...
MapReduce-wordcount
FiveCode的博客
10-29 501
MapReduce概述 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1）MapReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变
mapreduce之WordCount
weixin_55885866的博客
05-05 166
3.选中lib中的所有jar包，点击右键，Build Path，Add to Build Path。输入key，输入value 输出key，输出value。map阶段读取：key(行)，value（一行的值）map 阶段输出：key,value 为程序员定义。//2,创建job，设置入口。//LongWritable 输入key。//1.连接hadoop。//进行mapper计算。//进行reduce计算。//Text 输入 value。//Text 输出 key。注：map阶段会读取一行进行整合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值