初识MapReduce

最新推荐文章于 2023-12-21 14:30:23 发布
最新推荐文章于 2023-12-21 14:30:23 发布
阅读量126 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/107442505
版权

初识MapReduce

文章目录

1.MapReduce计算模型介绍

1.1 理解MapReduce思想

​ MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景(大规模数据处理场景)。
​ Map负责“分”，即把复杂的任务分解为若千个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。
​ Reduce负责“合”，即对map阶段的结果进行全局汇总。

​ 这两个阶段合起来正是MapReduce思想的体现。

1.2 Hadoop&MapReduce设计构思

在这里插入图片描述

​ MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。
​ 既然是做计算的框架，那么表现形式就是有个输入( input)，MapReduce 操作这个输入(input)， 通过本身定义好的计算模型，得到一个输出(output)。对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一-种简化并行计算的编程模型，降低了开发并行应用的入门门槛。
​ Hadoop MapReduce 构思体现在如下的三个方面:

  • 如何对付大数据处理:分而治之
    对相互间不具有计算依赖关系的大数据,实现并行最自然的办法就是采取分而治之的策略。并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的子任务或数据块同时进行计算。不可分拆的计算任务或相互间有依赖关系的数据无法进行并行计算!
  • 构建抽象模型: Map和Reduce
    MapReduce借鉴了函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。
    Map:对一组数据元素进行某种重复式的处理；
    Reduce:对Map的中间结果进行某种进一步的结果整理。
    MapReduce中定义了如下的Map和Reduce两个抽象的编程接口,由用户去编程实现:
    map:(k1;v1)→[(k2; v2)]
    reduce: (k2; [v2])→[(k3;v3)]
    Map和Reduce为程序员提供了一个清晰的操作接口抽象描述。通过以上两个编程接口，大家可以看出MapReduce处理的数据类型是<key,value>键值对。
  • 统一构架，隐藏系统层细节
    如何提供统一的计算框架，如果没有统一封装底层细节，那么程序员则需要考虑诸如数据存储、划分、分发、结果收集、错误恢复等诸多细节:为此，MapReduce设计并提供了统一的计算框架， 为程序员隐藏了绝大多数系统层面的处理细节。
    MapReduce最大的亮点在于通过抽象模型和计算框架把需要做什么(what need to do)与具体怎么做(how to do)分开了，为程序员提供一个抽象和高层的编程接口和框架。程序员仅需要关心其应用层的具体计算问题，仅需编写少量的处理应用本身计算问题的程序代码。如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来，交给计算框架去处理:从分布代码的执行，到大到数千小到单个节点集群的自动调度使用。
1.3 MapReduce框架结构

一个完整的mapreduce程序在分布式运行时有三类实例进程:
1、MRAppMaster:负责整个程序的过程调度及状态协调
2、MapTask:负责map阶段的整个数据处理流程
3、ReduceTask: 责reduce阶段的整个数据处理流程

在这里插入图片描述

2.MapReduce编程规范及示例编写

2.1 编程规范

(1)用户编写的程序分成三个部分: Mapper, Reducer, Driver (提交运行mr程序的客户端)
(2) Mapper的输入数据是KV对的形式(KV 的类型可自定义)
(3) Mapper的输出数据是KV对的形式(KV 的类型可自定义)
(4) Mapper中的业务逻辑写在map()方法中
(5) map() 方法(maptask 进程)对每一个<K, V>调用一次
(6)Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
(7) Reducer的业务逻辑写在reduce()方法中
(8) Reducetask 进程对每一组相同k的<k, v>组调用一次reduce()方法
(9)用户自定义的Mapper和Reducer都要继承各自的父类
(10)整个程序需要一个Drvier来进行提交，提交的是一个描述了各种必要信息的job对象

2.2WordCount示例编写

需求：在一堆给定的文本文件中统计输入每个单词出现的总次数。
pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>cn.itcast</groupId>
    <artifactId>example-mr</artifactId>
    <version>1.0</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <repositories>
        <repository>
            <id>aliyun-repos</id>
            <url>https://maven.aliyun.com/repository/central/</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
    </repositories>
    <pluginRepositories>
        <pluginRepository>
            <id>aliyun-plugin</id>
            <url>https://maven.aliyun.com/repository/central/</url>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </pluginRepository>
    </pluginRepositories>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.4</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.10</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-jar-plugin</artifactId>
                <version>2.4</version>
                <configuration>
                    <archive>
                        <manifest>
                            <addClasspath>true</addClasspath>
                            <classpathPrefix>lib</classpathPrefix>
                            <mainClass>cn.itcast.hadoop.mr.WordCountDriver</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                    <encoding>UTF-8</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>
  1. 定义一个Mapper类
package cn.itcast.hadoop.mr;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

    /**
     * 这里就是Mapper阶段业务逻辑实现的类
     * Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
     *KEYIN：表示mapper数据输入的时候数据类型，在默认的读取数据的组件下，叫InputFormat，他的行为是一行一行的读取待处理的数据
     *       读取一行，返回一行给mr程序，这种情况下，KININ就代表每一行的起始偏移量，因此数据类型为Long
     *VALUEIN：表示mapper数据输入的时候，VALUE的数据类型，在默认的读取数据的组件下，VALUEIN就表示读取的这一行内容，因此数据类型为String
     *KEYOUT表示mapper 数据输出的时候key的数据类型在本案例当中 输出的key是单词因此数据类型是 String
     *  VALUEOUT表示mapper数据输出的时候value的数据类型在本案例当中 输出的key是 单词的次数因此数据类型是 Integer
     * 这里所说的数据类型String Long都是jdk自带的类型在序列化的时候 教率低 下因此hadoop自 己封装一套 数据类型
     *   long---->LongWritable
     *   Str ing-->Text
     *   Integer--->Intwritable
     *   null-->NulLWritable
     */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    /**
     *这里就是Mapper阶段具体的业务逻辑实现方法 ，该方法的调用取决于读取数据组件有没有给mr传入数据
     * 如果有的话，每传入一个<k,v>对，该方法就会被调用一次
     * @param key
     * @param value
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //拿到传入进来的一行内容，把数据类型转化为String
        String line = value.toString();
        //将这一行内容按照分隔符进行切分，切分为一个个单词
        String[] words = line.split(" ");
        //遍历数组，每出现一个单词就标记数字1<单词，1>
        for (String word : words){
            //使用mr程序的上下文context,将mapper阶段处理的数据发送出去
            //作为reduce阶段的输入数据
            context.write(new Text(word),new IntWritable(1));
            //hadoop hadoop spark <hadoop,1><hadooop,1><spark,1>

        }


    }
}
  1. 定义一个Reducer类
package cn.itcast.hadoop.mr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * 这里是mr程序reducer阶段处理的类
 * KEYIN ： reducer阶段输入的数据KEY类型，对应Mapper的输出key类型，本案例中是单词Text
 * VALUEIN : reducer阶段输入的数据VALUE类型，对应Mapper的输出VALUE类型，本案例中是单词个数 IntWritable
 * KEYOUT : reducer阶段输出的数据KEY类型，本案例中是单词Text
 * VALUEOUT： reducer阶段输出的数据VALUE类型，本案例中是单词总个数 IntWritable
 */
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    /**
     * 这里是reduce阶段具体业务类的实现方法
     * @param key
     * @param values
     * @param context
     * @throws IOException
     * @throws InterruptedException
     *
     * reduce接收所有来自，map阶段处理的数据之后，按照key的字典序进行排序
     *<hello, 1> <hadoop, 1><spark, 1> <hadoop, 1>
     * 排序后:
     * <hadoop, 1><hadoop, 1><hello, 1><spark, 1>
     * 按照key是否相同作为一组去调用reduce方法
     * 本方法的key就是这一组kv对的共同key
     * 把这一组所有的v作为一个迭代器传去reduce方法
     *
     * <hadoop,[1,1]>
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        //定义一个计数器
        int count = 0;
        //遍历一组迭代器，把每一个数量1累加起来就构成了单词的总个数<hadoop,[1,1]>
        for (IntWritable value : values){
            count += value.get();
        }
        //最终结果输出
        context.write(key,new IntWritable(count));

    }
}
  1. 定义一个主类，用来描述job并提交job
package cn.itcast.hadoop.mr;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


/**
 * 这个类就是mr程序运行时候的主类
 * 本类中组装了一些程序运行所需的信息
 * 比如：使用哪个Mapper类，哪个Reducer类，输入数据在哪，输出到哪
 */
public class WordCountDriver {
    public static void main(String[] args) throws Exception {
        //通过Job来封装本次mr的相关信息
        Configuration conf = new Configuration();
//        conf.set("mapreduce.framework.name","local");//默认本地模式,不写这行也行
        Job job = Job.getInstance(conf);

        //指定本次mrjobjar包的运行主类
        job.setJarByClass(WordCountDriver.class);
        //指定本次mr 所用的Mapper，Reducer类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //指定本次mr Mapper阶段的输出KV类型

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定本次mr Reducer总阶段的输出KV类型

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
//        job.setNumReduceTasks(3);
        //指定本次mr 输入的数据路径 和最终输出结果存放位置

        FileInputFormat.setInputPaths(job,"E:\\wordcount\\input");
        FileOutputFormat.setOutputPath(job,new Path("E:\\wordcount\\output"));

//        job.submit();//非本地
        //提交程序 并且监控打印程序执行情况
        boolean b = job.waitForCompletion(true);
        System.exit(b?0:1);

    }
}

3.MapReduce程序运行模式

3.1本地运行模式

(1) mapreduce 程序是被提交给LocalJobRunner在本地以单进程的形式运行
(2)而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上
(3)怎样实现本地运行?写一个程序，不要带集群的配置文件
本质是程序的conf 中是否有mapreduce. framework. name=local以及
yarn. resourcemanager. hostname参数
(4)本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

3.2集群运行模式

(1)将mapreduce程序提交给yarn集群，分发到很多的节点上并发执行
(2)处理的数据和输出结果应该位于hdfs文件系统
(3)提交集群的实现步骤:
将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动
hadoop jar wordcount.jar cn. itcast. bigdata. mrsimple. WordCountDriver args

MelodyYN
关注
专栏目录
初识Mapreduce
qq_37659794的博客
11-19 167
初识MapreduceMapreduce介绍Mapreduce设计构思MapReduce编程规范Map阶段的2步Shuffle阶段的4步Reduce阶段的2步 Mapreduce介绍 核心：分而治之。 Map负责分，把复杂的任务分解为若干个简单任务来并行处理。 Reduce负责合，对map阶段的结果进行汇总。 Mapmask：线程 可以有多个reduce，不同reduce有不同的任务。 Mapreduce设计构思 MapReduce有两个部分，一个是自带的计算框架，一个是自己写的业务逻辑代码。如何结合两个部
大数据离线-MapReduce(上)--初识MapReduce
weixin_42229056的博客
09-13 442
本次主要介绍MapReduce,分为上篇，下篇两个篇章 上篇介绍MapReduce计算模型，MapReduce编码规范及测试，程序运行模式。 下篇介绍MapReduce序列化，MaoReduce排序初步，Mapreduce 的分区。 1. MapReduce计算模型 MapReduce是: 将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hado...
MapReduce 初识
qiruiduni的专栏
08-29 719
MapReduce是一种中大数据处理编程模型，它的思想来源于Google的几篇论文，可以把它理解为：把一堆混乱的数据按照某种特征归纳起来，然后处理并得到结果。Map面对的是杂乱无章的互不相关的数据，它解析每个数据，从中提取出key和value，也就是提取数据的特征。经过MapReduce的shuffle阶段之后，在Reduce阶段看到的都是已经归纳好的数据了，在此基础上我们做进一步的处理，便得到了
第5讲：初识MapReduce
09-24
第5讲：初识MapReduce
Hadoop权威指南：初识MapReduce与HDFS
在初识Hadoop部分，书中介绍了大数据的重要性以及传统系统在处理大规模数据时的局限性。Hadoop作为一个开源的分布式计算框架，其发展历程和Apache Hadoop项目的组成被详细阐述，包括Hadoop的主要组件如HDFS和...
Hadoop分布式计算框架（MapReduce）——初识MapReduce
最新发布
Z_Data的博客
12-21 214
MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce是一个并行程序的计算模型与方法MapReduce是一个并行程序运行的软件框架MapReduce是一个基于集群的高性能并行计算平台。
MapReduce教程（01）- 初识MapReduce
阿甘兄
02-25 845
文章目录01 引言02 MapReduce概述2.1 MapReduce定义2.2 MapReduce工作流程2.3 MapReduce流程对象2.3.1 InputFormat2.3.2 InputSplit2.3.3 RecordReader2.3.4 Mapper2.3.5 Combiner2.3.6 Partitioner2.3.7 Shuffle 和排序2.3.8 Reducer2.3.9 OutputFormat03 MapReduce原理图04 文末 01 引言 在前面的《Hive教程》，我们
Hadoop 任务分解
Simple Way
04-22 2482
<br />从高层看，有四个独立的实体：<br /> <br />- 客户端，提交MapReduce任务<br />- jobtracker,协调任务的运行。jobtracker是一个Java应用，它的主类是JobTracker<br />- tasktrackers，运行被分割的任务。tasktrackers是一个Java应用，它的主类是TaskTracker<br />- 分布式文件系统（通常是HDFS），用来在其它实体之间共享文件<br /> <br />Job提交<br /> <br />JobCl
MapReduce编程(入门篇)
落叶翩翩的CSDN博客
09-09 2845
一. MapReduce 编程模型 还是以一个经典的图片来说明问题. 1. 首先, 我们能确定我们有一份输入, 而且他的数据量会很大 2. 通过split之后, 他变成了若干的分片, 每个分片交给一个Map处理 3. map处理完后, tasktracker会把数据进行复制和排序, 然后通过输出的key 和value进行 partition的划分, 并把partition相同的map输
Hadoop学习笔记—4.初识MapReduce
deguotiantang的专栏
02-28 4282
一、神马是高大上的MapReduce 　　MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序。这也就是MapReduc
【图文解析 】MapReduce 示例程序编写及编码规范
谦卑t
11-14 865
上一步，我们查看了 WordCount 这个 MapReduce 程序的源码编写，可以得出几点结论： 1、 该程序有一个 main 方法，来启动任务的运行，其中 job 对象就存储了该程序运行的必要 信息，比如指定 Mapper 类和 Reducer 类 job.setMapperClass(TokenizerMapper.class); job.setReducerClass(IntSumRe...
MapReduce编程规范
小男孩儿的博客
06-08 286
用户编写的程序分成三个部分：Mapper、Reducer 和 Driver。 1．Mapper阶段 （1）用户自定义的Mapper要继承自己的父类 （2）Mapper的输入数据是KV对的形式（KV的类型可自定义） （3）Mapper中的业务逻辑写在map()方法中 （4）Mapper的输出数据是KV对的形式（KV的类型可自定义）（5）map()方法（MapTask进程）对每一个<K,V>调用一次 ...
MapReduce工作流程
ZYN的博客
12-16 2729
MapReduce工作流程 Map阶段： Reduce阶段： 上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下： （1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中 （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 （3）多个溢出文件会被合并成大的溢出文件 （4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行快速排序 （5）ReduceTask根据自己
OutputFormat:自定义数据输出
ZYN的博客
12-16 2443
OutputFormat数据输出 目的：能够自定义指定输出位置，而不局限于目前文件系统的目录；可以是数据库或者其他存储方式。 OutputFormat类为抽象类，其子类为FileOutputFormat也是抽象类，经常在Driver中通过静态方法setOutputPath指定输出路径。 默认情况下，输出格式为TextOutputFormat。 自定义OutputFormat步骤 自定义一个类继承FileOutputFormat； 改写RecordWriter,具体改写输出数据的方法write()。
Partition分区
ZYN的博客
12-16 1989
文章目录Partition分区1、默认partitioner分区2、自定义Partitioner步骤3、注意事项4、案例 Partition分区 需求：按照条件输出到不同文件中。 案例：按照手机归属地输出到不同文件中。 1、默认partitioner分区 默认分区根据key的hashCode对ReduceTasks个数取模得到。 public class HashPartitioner<K, V> extends Partitioner<K, V> { public int ge
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值