Hadoop框架之——Mapreduce概述

最新推荐文章于 2023-02-16 20:55:27 发布
最新推荐文章于 2023-02-16 20:55:27 发布
阅读量336 收藏
点赞数
分类专栏： # Hadoop 文章标签： 大数据 hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45417821/article/details/107786051
版权

文章目录

1.定义

Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

Mapreduce核心巩固是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算框架，并发运行在一个Hadoop集群上

2.优缺点

2.1.优点

  • mapreduce易于编程
    它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行，也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的，就是因为这个特点使得Mapreduce编程变得非常流行
  • 良好的扩展性
    当你的计算机资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力
  • 高容错性
    Mapreduce的初衷就是使程序能够部署在廉价的PC的机器上，这就要求它具有很高的容错性，比如其中一台机器挂了，它可以把上面的计算任务转移到另一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工的参与，而完全是由Hadoop内部完成的
  • 适合PB级以上海量数据的离线处理
    可以实现千台服务器集群的并发工作，提供数据处理能力

2.2缺点

  • 不擅长实时计算
    MapReduce无法像MySQL-样，在亳秒或者秒级内返回结果。
  • 不擅长流式计算
    流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce日自 身的设计特点决定了数据源必须是静态的。
  • 不擅长DAG (有向图)计算
    多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。 在这种情况下，MapReduce并不是 不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘I0，导致性能非常的低下。

3，MapReduce核心思想

在这里插入图片描述
1）分布式的运算程序往往需要分成至少2个阶段。
2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。
3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。
4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。
总结：分析WordCount数据流走向深入理解MapReduce核心思想。

4， MapReduce进程

一个完整的MapReduce程序在分布式运行时有三类实例进程:

  1. Mr AppMaster : 负责整个程序的过程调度及状态协调。

  2. MapTask : 负责Map阶段的整个数据处理流程。

  3. ReduceTask : 负责Reduce阶段的整个数据处理流程。

5，常用数据序列化类型

Java类型Hadoop Writable类型
booleanBooleanWritable
byteByteWritable
intIntWritable
floatFloatWritable
longLongWritable
doubleDoubleWritable
StringText
mapMapWritable
arrayArrayWritable

6，MapReduce编程规范

用户编写的程序分成三个部分：Mapper、Reducer和Driver。

  1. Mapper阶段
    (1)用户自定义的Napper要继承自己的父类
    (2) Npprp输入数据是Kv对形式(KvV的类型可自定义
    (3) Napper中的业务逻相写在mp0方法中.
    (4) Mpprg输出数据是KV对研式(EV9类型可自定义)(5) mp0方法(NmpTaxk进程)对每一个KV>调用一-次

  2. Reducer阶段
    (1)用户自定义的Reducer要继承自己的父类
    (2) Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
    (3) Reducer的业务逻辑写在reduce(方法中
    (4) Reduce Task进程对每-组相同k的<k,v> 组调用- -次reduce0方法

  3. Driver阶段
    相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象

7. WordCount案例实操

在给定的文本文件中统计输出每一个单词出现的总次数
例如wc.txt

spark,hadoop,flink
kafka,hbase
hive,kafka
hbase,oozie
sqoop,hadoop
hadoop,java,scala

期望输出数据

flink	1
hadoop	3
hbase	2
hive	1
java	1
kafka	2
oozie	1
scala	1
spark	1
sqoop	1

环境准备
(1) 在pom.xml文件中添加如下依赖

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.2</version>
		</dependency>
</dependencies>

（2）在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

(3) 添加打包集群依赖

<build>
		<plugins>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
				</configuration>
			</plugin>
			<plugin>
				<artifactId>maven-assembly-plugin </artifactId>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
					<archive>
						<manifest>
						<!--注意：这理需要替换为自己工程主类-->
							<mainClass>com.huan.wc.Driver</mainClass>
						</manifest>
					</archive>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>single</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>

编写Mapper类

//Map阶段
//KEYIN 输入数据的key (长度)
//VALUEIN 输入数据的value (值)
//KEYOUT 输出数据的key
//VALUEOUT 输出数据的Value类型
public class MyMapper extends Mapper<LongWritable, Text,Text, IntWritable> {

    Text k =  new Text();
    IntWritable v = new IntWritable();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //TODO 获取一行一行数据
        String line = value.toString();
        //TODO 切割单词
        String[] splits = line.split( "," );

        //TODO 循环遍历 并写出
        for (String split : splits) {
            //TODO
            k.set( split );
            v.set( 1 );
            context.write( k,v );
        }
    }
}

编写Reduce类

//KEYINT map端的KEYOUT
//VALUEINT map端的VALUEOUT
public class MyReduce extends Reducer<Text, IntWritable,Text, IntWritable> {

    IntWritable v =   new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        //TODO 累加求和
        for (IntWritable value : values) {
            //TODO 获取value
            int i = value.get();
            sum += i;
        }
        v.set( sum );
        context.write( key,v );
    }
}

编写Driver类

public class Driver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //TODO 获取job任务
        Configuration conf = new Configuration();
        Job job = Job.getInstance( conf );
        //TODO 设置jar存储位置
        job.setJarByClass(Driver.class  );
        //TODO 关联Map和Reduce
        job.setMapperClass( MyMapper.class );
        job.setReducerClass( MyReduce.class );
        //TODO 设置Mapper阶段输出数据的key和value类型
        job.setMapOutputKeyClass( Text.class );
        job.setMapOutputValueClass( IntWritable.class );
        //TODO 设置最终数据输出的key和value类型
        job.setOutputKeyClass( Text.class );
        job.setOutputValueClass( IntWritable.class );
        //TODO 设置输入路径和输出路径
        FileInputFormat.setInputPaths( job,new Path( args[0] ) );
        FileOutputFormat.setOutputPath( job,new Path( args[1] ) );
        //TODO 提交job
        boolean result = job.waitForCompletion( true );
        System.exit( result ? 0 : 1 );
    }
}

开始打包jar

在这里插入图片描述
(1)将打包好的jar放入hadoop集群中
(2)启动hadoop集群
(3)执行WordCount程序

[root@huan01 hadoop]# hadoop jar wc.jar com.huan.wc.Driver /huan/input/wc.txt /huan/output1

结果为

[root@huan03 ~]# hadoop fs -cat /huan/output1/part-r-00000
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hadoop/hadoop-2.7.2/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hbase/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
flink	1
hadoop	3
hbase	2
hive	1
java	1
kafka	2
oozie	1
scala	1
spark	1
sqoop	1
Alienware^
关注
专栏目录
【大数据Hadoop系列】分布式计算框架——MapReduce
weixin_54707168的博客
04-06 283
【大数据Hadoop系列】分布式计算框架——MapReduce
Hadoop——第三部份 Hadoop3.x之MapReduce
Cyang的博客
01-13 285
第三部份 Hadoop3.x之MapReduce 一、MapReduce概述 二、Hadoop序列化 三、MapReduce框架原理 四、Hadoop数据压缩
大数据之Hadoop（四）：分布式处理框架 MapReduce、MapReduce编程模型
汪雯琦的博客
03-13 655
文章目录分布式处理框架 MapReduce3.2.1 什么是MapReduce3.2.2 MapReduce编程模型 分布式处理框架 MapReduce 3.2.1 什么是MapReduce 源于Google的MapReduce论文(2004年12月) Hadoop的MapReduce是Google论文的开源实现 MapReduce优点: 海量数据离线处理&易开发 MapReduce缺点...
Hadoop MapReduce架构简介
03-09 1101
温馨提示：欢迎加入hadoop技术交流QQ群：338485052.            MapReduce采用主从结构，JobTracker作为主节点，TaskTracker作为从节点。         其架构图详见图1所示：          图1   MapReduce架构图 1、Client        用户编写的MapReduce程序通过Client提交到JobT
大数据学习_Hadoop_MapReduce编程框架
qq_41612830的博客
01-27 933
目录1 MapReduce思想2 官方WordCount案例源码解析2.1 Hadoop序列化3 MapReduce编程规范及示例编写3.1 Mapper类3.2 Reducer类3.3 Driver阶段 1 MapReduce思想 MapReduce的思想核心是分而治之，充分利用了并行处理的优势。 MapReduce任务过程是分为两个处理阶段： Map阶段：Map阶段的主要作用是“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。Map阶段的这些任务可以并行计算，彼此间没有依赖关系。(计算代码相
Hadoop-MapReduce框架技术
叶小刀
08-22 1049
MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。 解决问题的思路就是把一个应用程序分解为许多的分布在各个计算节点的并行的计算指令进行运行。 源自于谷歌的MapReduce论文。海量数据离线处理，易开发，易运行，不适合实时流式计算。 详细关于YARN的MapReduce见：https://mp.csdn.net/postedit/82424154 ...
MapReduce架构简介
weixin_34087307的博客
05-29 129
前言： MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。MapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。到了2.0之后，MapReduce可以理解为是一...
Hadoop 系列（三）—— 分布式计算框架 MapReduce
黑白影的博客
06-07 690
一、MapReduce概述 Hadoop MapReduce是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。 MapReduce作业通过将输入的数据集拆分为独立的块，这些块由map以并行的方式处理，框架对map的输出进行排序，然后输入到reduce中。MapReduce框架专门用于<key，value>键值对处理，它将...
Hadoop高级编程——构建与实现大数据解决方案.rar
10-25
在大数据处理领域，Hadoop是不可或缺的核心工具，它以其分布式计算框架著称，为企业和开发者提供了海量数据存储和处理的能力。本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行...
大数据技术之hadoop——（七）MapReduce概述+wordcount案例实操
m0_46615073的博客
08-12 380
MapReduce·概述 wordcount源码+自定义wordcount案例实操+本地测试+集群测试 多图详解
hadoop框架之MapReduce介绍
Luffy_captain的博客
09-16 1195
MapReduce简单介绍 MapReduce是一个分布式的计算框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算框架，并发运行在hadoop集群上。引入MapReduce框架后，开发人员可以将绝大部分的工作集中于业务逻辑上的开发，具体的计算只需要交给框架就可以。用于处理海量的数据分析计算工作，但目前因为性能问题，正在被spark替代。 MapReduc...
大数据之Hadoop(MapReduce)： MapReduce框架原理
weixin_43597208的博客
06-02 197
目录1.MapReduce 工作流程2.流程详解3 注意事项 1.MapReduce 工作流程 2.流程详解 上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第16 步结束， map后到reduce前为shuffle阶段，可分为map-shuffle 阶段和 shuffle-reduce阶段； 具体 shuffle 过程详解， 如下： map-shuffle 阶段 1） maptask 收集我们的 map()方法输出的 kv 对，放到内存环形缓冲区中
Hadoop MapReduce框架介绍
神技圈子的博客
02-21 3081
　　Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。 软件框架如下图所示：    Client：用户编写的Mapreduce程序通过Client端提交给JobTracker端；Client还提供一些查看作业运行状态的接口 JobTr...
MapReduce
weixin_60912935的博客
10-06 481
mapreduce概况
大数据框架之Hadoop：MapReduce（一）MapReduce概述
最新发布
yiluohan0307的专栏
02-16 1269
MapReduce概述
大数据入门：MapReduce核心架构
shuimuzh123的博客
12-02 267
在大数据处理上，MapReduce可以说是非常具备代表性的一代框架，尤其是在以Hadoop为首的离线批处理框架当中，MapReduce是核心的数据处理引擎，而随后的Spark其实也是在MapReduce基础之上发展而来的。今天的大数据入门分享，我们就主要来讲讲MapReduce核心架构。 MapReduce支持大规模数据集的处理，主要的思想是分布式并行计算，通过将大的任务进行拆分，小任务并行计算，大大提升了大规模数据处理的效率问题。 MapReduce架构成员 通常来说，MapReduce计算引擎
MapReduce架构及原理解析
qq_41544550的博客
06-13 3241
目录 一、MapReduce概念 1为什么要MapReduce 2 MapReduce的核心思想 3 MapReduce进程 4 MapReduce编程规范（八股文） WordCount案例 5 MapReduce程序运行流程分析 二、Hadoop序列化 1Writable序列化 1.1 常用数据序列化类型 1.2自定义bean对象实现序列化接口 三、MapRed...
hadoop之MapReduce详细概述
@小刘同学nice
04-10 551
MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上 MapReduce优点 MapReduce 易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉...
Hadoop之MapReduce框架原理
guoxizhang的博客
03-18 94
InputFormat数据输入 MapReduce的数据流 切片与MapTask并行度决定机制 1)问题引入 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任务是否越多越好呢？哪些因素影响了MapTask并行度？ 2)MapTask并行度决定机制 数据块:Block是HDFS物理上把数据分成一块一块,数据块是HDFS存
Hadoop入门：MapReduce实战与HDFS操作
接着，文章介绍了最简单的MapReduce示例——Word Count程序。Word Count是Hadoop自带的经典例子，用于演示MapReduce的基本流程。在标准形式的Word Count中，Mapper和Reducer通常被定义为两个独立的Java类，如`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值