MR过程和Shuffle详解

最新推荐文章于 2022-02-12 22:30:31 发布
最新推荐文章于 2022-02-12 22:30:31 发布
阅读量1.7k 收藏 7
点赞数
分类专栏： hadoop 大数据 文章标签： MR过程和Shuffle详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44824330/article/details/102497707
版权
Shuffle作为MapReduce的关键步骤，涉及数据从map任务到reduce任务的传递。它旨在确保数据完整传输，同时减少网络消耗和磁盘IO影响。Map阶段，数据先缓存到内存，当达到一定阈值时溢写到磁盘并分区排序。Reduce阶段，领取并归并来自Map的任务数据进行处理。
摘要由CSDN通过智能技术生成

一 MR 过程

在这里插入图片描述

在这里插入图片描述

MR框架是使用InputFormat为map所需的数据进行预处理，并为其提供数据。两个功能：切片，封装keyvalue
因为InputSplit为逻辑切分而非物理拆分，所以说还需要RecoderReader根据InputSplit中的信息里处理InputSplit中的具体信息，加载数据并转换为合适的Map任务的keyvalue，输入给Map任务

Map是自定义的逻辑，根据InputFormat给定的相应数据结合场景进行相应的处理


为了让Reducer可以并处理Map的处理结果，需要对map的输出结果进行一定的分区（Partition）、排序（Sort）、合并（Combine）、归并（Merge）等操作，得到keyvalue形式的中间结果，再交给Reducer处理，这个过程就是Shuffle，从无序的keyvalue到有序有分区的keyvalue，这个过程称之为Shuffle很形象。

Reducer是自定义的逻辑，根据从不同的MapTask 节点拿过来的给定的相应数据结合场景进行相应的处理

OutputFormat进行输出，输出至分布式文件系统

二 Shuffle

Shuffle过程是MapRed

最低0.47元/天 解锁文章
像风一般
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MR 的shuffle机制
qq_25460227的博客
08-01 1848
mapreduce高级特性及shuffle 第一节：shuffle机制 1.1 概述 mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；shuffle:洗牌、发牌——（核心机制：数据分区，排序，缓存）；具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数...
Hadoop 2.0工作原理学习
阳光奶爸的博客
07-14 1万+
学习Hadoop2.0中包括HDFS、YARN、Mapreduce相关知识。
MapReduce详解Shuffle过程
08-04
MapReduce详解Shuffle过程
MR之shuffle机制总结
weixin_42796403的博客
11-19 1959
MR之shuffle机制~分区 一、shuffle阶段划分 Map方法之后，Reduce方法之前的处理过程就是shuffle阶段.(sort-copy-sort) 二、shuffle阶段流程分析 相关基础：
mr！shuffle详细全过程
qq_15074737的博客
11-06 1万+
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。） 2018年07月29日 20:56:34 ASN_forever 阅读数：626 shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具...
以wordcount为例详细描述mr执行过程
qichangjian的博客
03-07 1287
总结： MR程序的执行过程主要分为三步：Map阶段、Shuffle阶段、Reduce阶段，如上图 Map阶段: 分片（Split）：map阶段的输入通常是HDFS上文件，在运行Mapper前，FileInputFormat会将输入文件分割成多个split ——1个split至少包含1个HDFS的Block（默认为128M）；然后每一个分片运行一个map进行处理。 执行（Map）：对输入分片中的每...
MR的原理和运行流程
热门推荐
程序员小陶的大数据分享
12-13 2万+
文章目录MR的原理和运行流程Map的运行过程Reduce处理过程Shuffle过程MR运行过程Yarn && Job MR的原理和运行流程 Map的运行过程 以HDFS上的文件作为默认输入源为例（MR也可以有其他的输入源） block是HDFS上的文件块，split是文件的分片（逻辑划分，不包含具体数据，只包含这些数据的位置信息）。 一个split包含一个或多个block，...
MapReduce平台优化详解.pdf
10-14
MapReduce平台优化详解 MapReduce平台优化是Hadoop生态系统中的一种关键技术，旨在提高MapReduce作业的执行效率和性能。本文将从MapReduce优化的角度，深入剖析MapReduce平台的优化方法，涵盖Combiner、Partitioner...
MapReduce计算模式详解
08-08
### MapReduce计算模式详解 #### 一、MapReduce简单概述 MapReduce是一种高效的大数据处理技术，它由Google提出并在Hadoop中得到了广泛的应用。MapReduce不仅是一个计算平台，还是一个并行计算框架和并行程序设计...
Hadoop从入门到上手企业开发
07-15
062 MapReduce Shuffle过程讲解和Map Shuffle Phase讲解 063 Reduce Shuffle Phase讲解 064 源代码跟踪查看Map Task和Reduce Task数目的个数 065 回顾MapReduce执行过程以及MapReduce核心 066 Hadoop MapReduce框架...
字节跳动，面，终于拿下！.docx
11-12
10. **大数据组件理解**：如MR的自定义分区原理、Spark的运行机制、shuffle过程等。 11. **业务场景分析**：面试官会结合实际业务场景提出问题，测试面试者解决问题和分析业务的能力。 12. **技术与架构知识**：...
MR -- Shuffle机制
a1786742005的博客
02-26 662
1、流程详解 Map 方法之后，Reduce 方法之前的数据处理过程被称为 Shuffle，具体流程为： (1) MapTask 收集 map() 方法输出的 kv 对，放到内存缓冲区中。 (2) 从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件。 (3) 多个溢出文件会被合并成大的溢出文件。 (4) 在溢出过程及合并的过程中，都要调用 Partitioner 进行分区和针对 key 进行排...
MapReduce shuffle过程详解！
蔡政洁的博客
10-12 8483
目录一、MR的shuffle过程二、Map shuffle三、Reduce shuffle 一、MR的shuffle过程 MR的shuffle过程： input -> map -> shuffle -> reduce ->output MR的原理图： 二、Map shuffle 1.map()的数据会写入到内存（环形缓冲区：默认大小：100mb），当数据达到缓冲区总容量的80%（阈值）时，会将我们的数据spill到本地磁盘 1）分区（partitioner）：分
Shuffle过程介绍
pengweid专栏
05-03 9125
  摘要：腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过程进行比较。 腾讯分布式数据仓库（Tencent distributed Data Warehouse, 简称TDW）基于开源软件Hadoop和Hiv...
【MapReduce篇】MR过程分析
chenshi_2753的博客
02-27 1141
Mapreduce原语：“相同”的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算 为什么叫MapReduce：MapTask & ReduceTask 整体运行流程图解： mapreduce 框架可以分为五个不同实体： 1）客户端：提交 MapReduce job。 2）Yarn 资源管理器（resource manager）：协调集群计算资源的分配 ...
MR的shuffle和Spark的shuffle的区别
weixin_43542605的博客
02-12 2019
MR的shuffle和Spark的shuffle的区别
mapreduce的shuffle机制（来自学习笔记）
weixin_34163741的博客
06-03 226
3. MAPREDUCE原理篇（2） 3.1 mapreduce的shuffle机制 3.1.1 概述： v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； vshuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存） v具体来说：就是将ma...
MR 之shuffle
ly13607255628的博客
09-20 169
1、MapTask 运行机制 详细步骤： 首先，读取数据组件InputFormat（默认TextInputFormat）会通过getSplits方法对输入目录中文 件进行逻辑切片规划得到splits，有多少个split就对应启动多少个MapTask。split与block的对应关 系默认是一对一。 将输入文件切分为splits之后，由RecordReader对象（默认LineRecordReader）进行读取，以\n 作为分隔符，读取一行数据，返回<key，value>。Key表示每
MR的Shuffle过程以及优化
weixin_59295776的博客
11-20 1621
数据从map方法出来以后，首先进入getPartition方法，然后会对数据进行分区，之后进入环形缓冲区（默认大小为100Mb，数据量到达80%时会进行磁盘溢写），在溢写数据时会进行一次快排，这里的快排是对key的索引进行字典顺序排序，溢写之后会产生大量的小文件，（由于在hdfs中，每个文件不论大小，都会固定占用150字节的系统空间，因为文件或者文件夹是以对象形式存储在hdfs上的），所以我们要在快排之后在进行一次归并排序，来减少小文件个数，之后把数据按照指定的分区放入对应的分区下，来等待reduce的拉取
spark shuffle和mr的shuffle
最新发布
03-16
Spark Shuffle和MR（MapReduce）的Shuffle都是用于数据处理中的重要步骤，但它们的实现方式略有不同。 Spark Shuffle是在Spark中使用的一种数据重新分配技术。在Spark应用程序中，Shuffle是在数据分区和数据分组...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值