MapReduce Shuffle 过程

最新推荐文章于 2023-02-06 18:35:45 发布
最新推荐文章于 2023-02-06 18:35:45 发布
阅读量562 收藏 1
点赞数
分类专栏： Hadoop 文章标签： MapReduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw514124202/article/details/81410554
版权
MapReduce的Shuffle过程包括Map阶段的分区、排序、组合、溢写和磁盘合并，以及Reduce阶段的拉取数据、内存磁盘合并。在Map阶段，数据经过分区、排序、组合后写入磁盘并进行多次合并。Reduce阶段，Reducer从Map任务中拉取数据，再次合并并执行reduce函数。整个过程确保数据按key排序并进行预聚合。
摘要由CSDN通过智能技术生成

在这里插入图片描述

Map

  1. 从磁盘上读取数据
  2. 执行map函数
  3. Partition分区(放进内存)
  4. Sort排序(内存排序)
  5. Combine结果(内存预聚合)
  6. 将结果写到本地的磁盘上
  7. Merge(对磁盘上的文件合并)

Reduce

  1. Copy (fetch 拉取数据直接放进内存)
  2. Merge (内存->磁盘)
  3. Merge (磁盘->磁盘)
  4. 执行reduce函数

word count 例子

假如有一个文件，被切分成两个split (也就是有两个map task)

split 0:
My name is Tony
My company is Pivotal

split 1:
My name is Lisa
My company is EMC

执行map函数

split 0:
My 1
name 1
is 1
Tony 1
My 1
company 1
is 1
Pivotal 1

split 1:
My 1
name 1
is 1

最低0.47元/天 解锁文章
阿武z
关注
专栏目录
SpringBoot在反序列化过程中：com.fasterxml.jackson.databind.exc.InvalidDefinitionException: Cannot construct
KyrieCao的博客
12-25 1万+
前言 在SpringBoot整合redis的时候写使用RedisTemplate来操作缓存数据库redis，结果测试的时候报错。 异常如下 org.springframework.data.redis.serializer.SerializationException: Could not read JSON: Cannot construct instance of `com.wip.redis...
DAGScheduler之Job的提交划分Stage
xw514124202的博客
08-04 790
整体流程图 源码分析 spark 2.3 getOrCreateParentStages 创建所有祖先Stage /** * Get or create the list of parent stages for a given RDD. The new Stages will be created with * the provided firstJobId....
Caused by: com.fasterxml.jackson.databind.exc.InvalidDefinitionException: Cannot construct..........
qq_41934990的博客
02-06 3860
测试服务器接口遇到的问题,记录下 翻译是嵌套异常为com.fasterxml.jackson.databind.exc.InvalidDefinitionException:无法构造“com.chilwe.dtos.socket.down.FivePower”的实例（不存在类似默认构造函数的创建者）：无法从Object值反序列化（不存在基于委托或属性的创建者）原因是我在该实体类中添加了一个为了方便实例化该类用的构造函数，导致JVM不会添加默认的无参构造函数，而jackson的反序列化需要无参构造函数，因此报
非数据库映射接口mapper类自动注入报错：No qualifying bean of type 'com.zyc.redis.JwtRedisDAO' available: expected at
TOP丶Chen
04-11 1178
工具类的自动注入bean报错： Error creating bean with name 'userServiceImpl': Injection of resource dependencies failed; nested exception is org.springframework.beans.factory.NoSuchBeanDefinitionException: No q...
解决redis序列化java8 LocalDateTime错误的问题
老根儿的博客
08-15 1万+
redis序列化选择方式<!-- 缓存序列化方式 --> <!--对key的默认序列化器。默认值是StringSerializer--> <bean id="keySerializer" class="org.springframework.data.redis.serializer.StringRedisSerializer" /> <!--是对value的默认序列化器，默
MapReduce Shuffle 过程图解 Xmind文件
11-29
MapReduce Shuffle 过程图解 Xmind文件
Hadoop MapReduce Shuffle 过程解析
超越时代
02-28 642
mapreduceShuffle过程解析 Shuffle过程是Mapreduce的核心，要想理解Mapreduce，Shuffle过程是必须了解的。 Shuffle的本义是洗牌，混乱，把一组有规则的数据转换成一组无规则的数据，Mapreduce中的shuffle更像是洗牌的逆过程，把map端处理完的数据规约到reduce端，更像是一个整合的过程，把相对无规则的数据转换成有规则的数据。 为什么M...
MapReduce shuffle过程详解与调优指南
“MapReduce shuffle过程剖析及调优” MapReduce是Hadoop生态系统中的核心组件，用于处理大规模数据并行计算。在MapReduce模型中，数据从Mapper阶段经过shuffle阶段传递到Reducer阶段，以实现基于key的聚合操作。...
MapReduce的Shuffle过程
学习记录
04-12 4568
认识Shuffle map task：map端可以执行的一个进程 reduce task：reduce端可以执行的一个进程 shuffle是介于maptask和reducetask之间的一个过程 shuffle可以分为map端的shuffle和reduce端的shuffle mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle 具体来说：就是将map task输出的处理结果数据，分发给reduce task，并在分发的过
mapreduce shuffle过程详解
最新发布
06-06
MapReduce的shuffle过程是指将Map阶段产生的中间结果按照key进行分组，然后将同一组中的数据传输到Reduce节点上进行处理的过程。 具体来说，shuffle过程包括三个步骤： 1. Partitioning（分区）：Map任务将中间...
Cannot construct instance of `com..model.Reader` (no Creators, like default construct, exist)
wangpailiulanqi8的博客
09-09 1万+
在单元测试,传递json数据的时候,报这个错 D:\SOFT_SETUP\JAVA\JDK\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:52184,suspend=y,server=n -ea -Didea.test.cyclic.buffer.size=1048576 -javaagent:C:...
编译Sqoop2错误解决
weixin_30670151的博客
04-17 114
Sqoop2的代码结构相对于Sqoop做了大幅度调整，当中编译方式也从ant+maven杂糅的方式变为依赖maven3。今天将源码下下来，放到linux測试机器/export/build下后，执行“mvn package -Pbinary -Dhadoop.profile=200 ”命令，竟然出现下面错误： Downloaded: http://repo2.maven.org/ma...
解决 Can not construct instance of `xxxxx`
热门推荐
程铭程铭你快成名的博客
04-29 6万+
项目中使用了Lombok，这次升级之后，出现了如下问题： Caused by: com.fasterxml.jackson.databind.JsonMappingException: Can not construct instance of XXXXXXX(no Creators, like default construct, exist): can not deserialize fro...
ERROR: missing keyring, cannot use cephx for authentication
weixin_33919950的博客
09-14 1238
[talen@ceph_admin ~]$ ceph health 2015-09-14 15:11:55.503854 7fdc2297f700 -1 monclient(hunting): ERROR: missing keyring, cannot use cephx for authentication 2015-09-14 15:1...
二、Hera调度系统初始化、生成和清理版本
xw514124202的博客
07-22 386
先了解Hera代码里一些基本数据结构 Event事件、不同任务类型的Listener、Dispatcher 一、初始化 Listener、Dispatcher.jobHandlers // Master.java public void init(MasterContext masterContext) { ... executeJobPool.execute(() -&...
HIVE 字段级血缘分析 写入Neo4j
xw514124202的博客
06-28 1万+
Step 1. 利用HIVE Hook LineageLogger 获取字段之间的依赖关系 注意：LineageLogger Hook 是Hive2.0版本之后存在的，如果HIVE版本不够需要升级HIVE版本。PS.CDH有的HIVE版本添加此功能 下面以hive 2.5.3版本为例 添加参数 vim /usr/local/hive/conf/hive-site.xml <property&...
YARN集群资源如何分配
xw514124202的博客
08-04 6153
如何分配集群资源 (怎么配置Yarn) 总资源 集群中每台机器的配置 (RAM,CPU,Disk,网卡) 预留资源 总资源 - 集群中运行服务需要的资源(操作系统OS,DataNode,NodeManger,HBase,Hive,ZK,Impala..) 配置集群 YARN分配资源 主要参数: yarn.nodemanager.resource.memory-mb 每...
YARN队列资源、NameNode等数据指标监控
xw514124202的博客
10-24 2478
整体流程 1、通过各组件的JMX接口，获取待监控的数据指标 2、将数据指标写入OpenTSDB 3、Grafana接入OpenTSDB数据源，配置展示页面 展示页面如下 通过各组件的JMX接口，获取待监控的数据指标 NameNode: http://localhost:50070/jmx Yarn: http://localhost:8088/jmx .. 代码Demo monitor-...
YARN-Container申请和分配
xw514124202的博客
11-21 1900
AM在NM上成功启动并向RM注册后，向RM请求资源（Container）到获取资源的整个过程，以及RM内部涉及的主要工作流程。整个过程可看做以下两个阶段的迭代循环 阶段1：AM汇报资源需求 并领取已分配资源。 阶段2：NM向RM汇报各个Container的运行状态，如果RM发现它上面有空闲的资源，则进行一次资源分配，并将分配的资源保存到对应的数据结构中，等待下一次AM发送心跳信息时获取。 阶段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值