数据研发学习笔记4.6：大数据之MapReduce

最新推荐文章于 2022-10-18 10:14:30 发布
最新推荐文章于 2022-10-18 10:14:30 发布
阅读量678 收藏 2
点赞数 1
分类专栏： 数据研发学习笔记 文章标签： 分布式 大数据 hadoop MapReduce 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41961559/article/details/106169667
版权

文章目录

1 概述

1.1 分布式并行编程

“摩尔定律”， CPU性能大约每隔18个月翻一番，但从2005年开始摩尔定律逐渐失效 ，需要处理的数据量快速增加，人们开始借助于分布式并行编程来提高程序性能 。

分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处理任务，从而获得海量的计算能力。

谷歌公司最先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实现，后者比前者使用门槛低很多 。

  • 问题： 在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce？MapReduce相较于传统的并行计算框架有什么优势？
    在这里插入图片描述

1.2 MapReduce模型简介

MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce。

编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算。

  • MapReduce采用 “分而治之” 策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任务并行处理。

  • MapReduce设计的一个理念就是 “计算向数据靠拢” ，而不是“数据向计算靠拢”，因为，移动数据需要大量的网络传输开销。
    在这里插入图片描述

  • MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker

  • Hadoop框架是用Java实现的，但是，MapReduce应用程序则不一定要用Java来写

1.3 Map和Reduce函数

在这里插入图片描述

2 MapReduce体系结构

MapReduce体系结构主要由四个部分组成，分别是：Client、JobTracker、TaskTracker以及Task。
在这里插入图片描述
（1）Client

  • 用户编写的MapReduce程序通过Client提交到JobTracker端
  • 用户可通过Client提供的一些接口查看作业运行状态

（2）JobTracker

  • JobTracker负责资源监控和作业调度
  • JobTracker 监控所有TaskTracker与Job的健康状况，一旦发现失败，就将相应的任务转移到其他节点
  • JobTracker 会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler），而调度器会在资源出现空闲时，选择合适的任务去使用这些资源

（3）TaskTracker

  • TaskTracker 会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker 发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）
  • TaskTracker 使用“slot”等量划分本节点上的资源量（CPU、内存等）。一个Task 获取到一个slot 后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot 分为Map slot 和Reduce slot 两种，分别供MapTask 和Reduce Task 使用

（4）Task

  • Task 分为Map Task 和Reduce Task 两种，均由TaskTracker 启动

3 MapReduce工作流程

3.1 工作流程概述

在这里插入图片描述

  • 不同的Map任务之间不会进行通信
  • 不同的Reduce任务之间也不会发生任何信息交换
  • 用户不能显式地从一台机器向另一台机器发送消息
  • 所有的数据交换都是通过MapReduce框架自身去实现的

3.2 MapReduce各个执行阶段

在这里插入图片描述
关于Split（分片）
在这里插入图片描述
HDFS 以固定大小的block 为基本单位存储数据，而对于MapReduce 而言，其处理单位是split。split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。

Map任务的数量
Hadoop为每个split创建一个Map任务，split 的多少决定了Map任务的数目。大多数情况下，理想的分片大小是一个HDFS块。

Reduce任务的数量
最优的Reduce任务个数取决于集群中可用的reduce任务槽(slot)的数目。
通常设置比reduce任务槽数目稍微小一些的Reduce任务个数（这样可以预留一些系统资源处理可能发生的错误）。

3.3 Shuffle过程详解

（1）Shuffle过程简介
在这里插入图片描述
（2）Map端的Shuffle过程

在这里插入图片描述
（3）Reduce端的Shuffle过程
在这里插入图片描述

  • Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据
  • Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘
  • 多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的
  • 当数据很少时，不需要溢写到磁盘，直接在缓存中归并，然后输出给Reduce

3.4 MapReduce应用程序执行过程

在这里插入图片描述
（1）程序部署
（2）分配Map任务和Reduce任务
（3）读入数据
（4）本地写数据
（5）远程读数据
（6）写数据

输入输出在HDFS上，中间结果写入磁盘。

4 实例分析：WordCount

4.1 WordCount程序任务

在这里插入图片描述

4.2 WordCount设计思路

  • 首先，需要检查WordCount程序任务是否可以采用MapReduce来实现
  • 其次，确定MapReduce程序的设计思路
  • 最后，确定MapReduce程序的执行过程

4.3 一个WordCount执行过程的实例

在这里插入图片描述
在这里插入图片描述

5 MapReduce的具体应用

MapReduce可以很好地应用于各种计算问题：

  • 关系代数运算（选择、投影、并、交、差、连接）
  • 分组与聚合运算
  • 矩阵-向量乘法
  • 矩阵乘法

应用：用MapReduce实现关系的自然连接
在这里插入图片描述
假设有关系R(A，B)和S(B,C)，对二者进行自然连接操作。

使用Map过程，把来自R的每个元组<a,b>转换成一个键值对<b, <R,a>>，其中的键就是属性B的值。把关系R包含到值中，这样做使得我们可以在Reduce阶段，只把那些来自R的元组和来自S的元组进行匹配。类似地&#

最低0.47元/天 解锁文章
Lynn Wen
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文学会MapReduce编程
pengpengsays
01-04 230
MapReduce编程模型，相对于初学者来说，会有一些门槛，没关系，这一篇让你学会使用MapReduce进行分布式处理。 基础知识 MapReduce 框架只对 <key, value> 形式的键值对进行处理。MapReduce会将任务的输入当成一组 <key, value> 键值对，最后也会生成一组 <key, value> 键值对作为结果。常见的输入为文件，此时读取的行偏移量会作为Key，文件内容作为Value。 key 和 value 的类必须由框架来完成序列化，所
MapReduce项目案例1
weixin_51699336的博客
06-27 327
MapReduce项目案例1
【Hadoop实训】统计文件中所有单词的平均长度
一只大数据专业的傻猪猪
04-01 2025
统计文件中所有单词的平均长度
大数据框架基础MapReduce编程实例：单词计数
大数据基础学习
06-28 1121
本节介绍如何编写基本的 MapReduce 程序实现数据分析。本节代码是基于 Hadoop 2.7.3 开发的。 任务准备 单词计数（WordCount）的任务是对一组输入文档中的单词进行分别计数。假设文件的量比较大，每个文档又包含大量的单词，则无法使用传统的线性程序进行处理，而这类问题正是 MapReduce 可以发挥优势的地方。 在前面《MapReduce实例分析：单词计数》教程中已经介...
编程实现MapReduce操作
最新发布
weixin_46406308的博客
10-18 2148
3.上传hello.txt,par_1.txt和part_2.txt,sort.txt,second.txt文件到hadoop HDFS。解决：这是因为在txt文件中使用了空格隔开数据，代码中使用的是tab分隔，将txt中的空格换为tab即可(数据之间只能用一个tab隔开)问题2：partitionerjar包运行时报错java.lang.ArrayIndexOutOfBoundsException: 1。2.将jar包上传 到/home/admin/file/mapreduce。1.创建maven工程。
大数据之Mapreduce
06-09
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程...
Python学习笔记——大数据之SPARK核心
02-24
本文来自于csdn，文章讲解RDD的特点，RDD操作函数相关，穿插案例辣酱得段子，带大家理解MapReduce，通过哈姆雷特单词分析案例进行深度剖析。RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要...
大数据实验5实验报告：MapReduce 初级编程实践
06-20
林子雨大数据原理与技术第三版实验5实验报告 大数据技术与原理实验报告 MapReduce 初级编程实践 姓名: 实验环境：  操作系统：Linux（建议Ubuntu16.04）；  Hadoop版本：3.2.2； 实验内容与完成情况： （一）...
Hadoop大数据开发基础系列：四、MapReduce初级编程
Nelson_hehe的博客
10-07 5136
第四章、MapReduce编程入门 目录结构 1.使用Eclipse建立MapReduce工程 1.1下载与安装Eclipse 1.2配置MapReduce环境 1.3新建MapReduce工程 2.通过源码初识MapReduce工程 2.1通俗理解MapReduce原理 2.2了解MR实现词频统计的执行流程 2.3读懂...
mapreduce实例代码详解（一行一行的注释）
一纸春秋的博客
12-26 7438
mapreduce的相关概念，以及运行原理网上都有很多，建议先大致掌握一下mapreduce的基础工作方式再来看代码。 初开始学mapreduce看那一堆代码的时候很是郁闷，现在把我对每一行代码的理解写下来，希望对你们有一点帮助。 那么第一个实例，就按惯例来写词汇统计好了。 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.
MapReduce详解
幽雨雨幽
08-08 648
MapReduce模型简介：     •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce   •编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算   •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片...
MapReduce框架学习（3）——Job的创建及配置
xiaozhou的博客
10-27 2779
参考：JeffreyZhou的博客园 《Hadoop权威指南》第四版 0 一个MR作业，包括三点： 输入数据 MR程序 配置信息 前面两篇学习了数据格式和MR过程（map函数和reduce函数），那么今天再讲一下配置信息，是怎么把 数据 和 程序结合起来的。 3.1 代码 打算对照代码来讲解，这样可能要有逻辑一点，不至于讲到最后都不知道自己的线索在哪。先贴上WordCount中的Job...
JAVA经典异常
y_w_x_k的博客
02-25 322
1.空指针异常 Movie wm=new WarMovie(); wm=null; wm.seeMovie(); 2.类型转换异常 A子类向上转型成父类后，将A子类的引用类型再转换成父类的另外一个B子类，在编译阶段是能通过的，因为父类型可以强制转换成B子类型，但是堆内存中实际存在的是A子类，在运行阶段A子类是不能转换成B子类的，因为A子类与B子类不存在继承关系 package Movie; public class Movie { public void seeMovie() {
Mapreduce实例（九）：Reduce端join
笑看风云路的博客
06-02 392
MR实现Reduce端join
大数据学习-Hadoop04-MapReduce-02-wordcount进阶版
yankai1101的博客
08-25 128
0. 需要了解wordcount 1. Partitioner（分区） 描述 根据单词长度，进行分区，使单词长度小于等于4的放在0号分区，其他放在1号分区 输入数据 E:\input\partitioner\hello.txt hadoop xue hadoop xue hive xue yankai xue xue yankai hive hbase 运行结果 E:\output\partit...
Java的异常处理机制
quiet_1的博客
05-01 3675
一、什么是java异常？ java中所有错误的超类为：Throwable。其下有两个子类：Error 和 Exception。 Error的子类描述的都是系统错误，比如虚拟机内存溢出。 Exception的子类描述的都是程序，比如空指针，下标越界等。 通常我们程序中处理的异常都是Exception。 Java异常类的层次结构图： Java所有异常类都是Throwable的子类，它包括Java异常处理的两个重要子类：Error和Exception。 Error：Error及其子类用来描述Ja.
2021-11-01
qq_42873827的博客
11-01 309
java正则表达式 在java.util.regex包里面定义了两个主要的类： ·Pattern类：此类对象如果要想使用必须使用compile()方法，方法的功能是编译正则 public static Pattern compile(String regex); ·Matcher类：通过Pattern类取得 public Matcher matcher(CharSequence input); String stb = “heiaiwedhfa4ae6df54asfdaewadfes”; Pattern c
Java异常
该博主太懒了，简介都不写
08-25 272
Java异常 1、什么是异常？ Java 中的错误大致可以分为两类： 一类是编译时错误，一般是指语法错误。 另一类是运行时错误。 Java 中有一组专门用来描述各种不同的运行时异常，叫做异常类，Java 结合异常类提供了处理错误的机制。 具体步骤是当程序出现错误时，会创建一个包含错误信息的异常类的实例化对象，并自动将该对象提交给系统，由系统转交给能够处理异常的代码进行处理。 异常可以分为两类：Error 和 Exception。 Error 是指系统错误，JVM 生成，我们编写的程序无法处理。 Except
Hadoop12：【案例】之使用Hadoop的MR(Map+Reduce)进行单词计数原理以及实现
weixin_40612128的博客
03-01 1861
一、MapReduce之Map阶段 mapreduce主要分为两大步骤 map和reduce，map和reduce在代码层面对应的就是两个类，map对应的是mapper类，reduce对应的是reducer类，下面我们就来根据一个案例具体分析一下这两个步骤 假设我们有一个文件，文件里面有两行内容 第一行是hello you 第二行是hello me 我们想统计文件中每个单词出现的总次数 首先是map阶段 第一步： 框架会把输入文件(夹)划分为很多InputSplit，这里的inputsplit就是前面我们所
hadoop- w3c 学习笔记
06-02
Hadoop是现代数据管理中用到的关键性系统，W3C学习笔记旨在帮助用户更好地理解和应用Hadoop技术，为数据管理和分析提供行之有效的解决方案。 Hadoop简介，主要分了这几块：1. hadoop优点2.hadoop下载和安装3.使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值