shuffle过程——MRAPPmaster的任务监控调度机制

最新推荐文章于 2024-04-17 15:04:02 发布
最新推荐文章于 2024-04-17 15:04:02 发布
阅读量345 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013075024/article/details/90694924
版权

1. shuffle过程如下图所示

shuffle指的是把数据从map的输出导入到负责Reduce的程序的过程，是mapreduce编程模型中连接map阶段和reduce阶段的最重要环节。

在这里插入图片描述

2. 具体过程描述

  • （1）MRAPPmaster启动map task进程
  • （2）map task 向 MRAPPmaster汇报处理结果，结果文件所在位置，分区的信息
  • （3）MRAPPmaster启动reduce task，并 通知reduce task要取哪一个分区的数据、数据位置（即主机、文件具体位置）
  • （4）reduce task 从内存中下载数据
  • （5）合并数据
  • （6）reduce task 处理数据
  • （7）reduce task 输出处理结果到文件中
_missTu_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
5 ，调度 mr 任务 ：
孙砚秋的博客
07-29 318
1 ，目标 ： 使用 Oozie 调度 MapReduce 任务 2 ，准备 jar 包 找到一个可以运行的 mapreduce 任务的 jar 包 ( 可以用官方的，也可以是自己写的 ) 。 3 ，解压模板文件 ： ( 注意 ：解压模板变了 ) 解压 ： cd /export/servers/oozie-4.1.0-cdh5.14.0 mkdir test03 cp oozie-example...
HDFS机架感知策略，MapReduce的Shuffle过程
MrGeroge的博客
12-06 493
1.     HDFS机架放置策略（三副本如何放置） 1）第一个副本放在上传文件的DataNode 2）第二个副本放在不同机架上的任意节点 3）第三副本放在与2）相同机架上的不同节点 2.     MapReduce的Shuffle过程详解 Map端Shuffle操作： 1）  经过Map操作后，会得到多个key-value对，根据partition操作，由key-valu
Hadoop_MapReduce_Shuffle机制—图文详解
最新发布
喻师傅的学习笔记
04-17 764
MapReduce—Shuffle机制图文详解
Shuffle 工作机制
bangbinbing的博客
05-26 524
本章详细介绍了shuffle工作机制（自用）
shuffle流程理解
ShengBOOM的博客
06-02 1418
shuffle流程理解 什么是shuffle流程？ MapReduce确保每个reducer的输入都是按键排序的。系统执行排序，将map输出作为输入传给reducer的过程称为shuffle. 简单来说就是：从map输出开始，到reduce输入之前这个阶段。 如下图所示： 如图所示大致分为5个阶段： 1.Collect阶段 2.Spill阶段 3.Merge...
广播机制解决Shuffle过程数据倾斜的方法
05-06
在Spark计算平台中，数据倾斜...提出了广播机制避免Shuffle过程数据倾斜的方法，分析了广播变量分发逻辑过程，给出广播变量性能优势分析和该方法的算法实现.通过Broadcast Join实验验证了该方法在性能上有稳定的提升.
腾讯大数据之TDW计算引擎解析——Shuffle
03-04
腾讯分布式数据仓库...TDW计算引擎包括两部分：一个是偏离线的MapReduce，一个是偏实时的Spark，两者内部都包含了一个重要的过程——Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过
SparkShuffle过程分析：Reduce阶段处理流程
02-25
Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章SparkShuffle过程分析：Map阶段处理流程了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个...
mysql8.*的安装
whq1576049813的博客
12-08 114
链接：https://www.cnblogs.com/gaogaoyanjiu/p/9609923.html 作者写的很详细，我只是个搬运工，如有侵权，请联系删除！
Hadoop - MapReduce MRAppMaster-剖析
zzbjut
07-13 6863
Hadoop MapReduce On YARN的实现 --- MRAppMaster内部组件剖析。
YARN/MRv2 MRAppMaster深入剖析—推测执行机制
caodaoxi的专栏
10-23 198
1. 背景 推测执行(Speculative Execution)是指在分布式集群环境下，因为程序BUG，负载不均衡或者资源分布不均等原因，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启...
YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析
caodaoxi的专栏
10-23 184
1. ContainerAllocator概述 ContainerAllocator负责与ResourceManager通信，为作业申请资源。作业的每个任务资源需求可描述为四元组<Priority, hostname，capability，containers>，分别表示作业优先级、期望资源所在的host，资源量（当前仅支持内存），container数目，比如： <10,...
监控任务的设计思路
小浩子的博客
01-09 1230
这里就不画图了，文字表述即可。 假如现在有好几个业务子系统共同完成一个任务，当大量的任务来临时，怎么去保证每个任务都能跑完？这就需要我们对任务进行监控，我的思路是这样的：创建一个新的监控项目，定时遍历数据库的任务表，看看有没有新来的任务，有的话取出来，加入一个待执行队列，并计算超时时间，再开一个线程去判断该任务是否跑完，若超时了，则触发重发机制，若跑完了，则关闭线程。 这里有三个问题要特别注意 1...
Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（一）
weixin_34221775的博客
05-01 622
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。如此，随之而来的一个问题就是，MRAppMaster是如何控制MapReduce作业在Ya...
YARN/MRv2 MRAppMaster深入剖析—整体架构
caodaoxi的专栏
10-23 197
MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括创建MapReduce作业，向ResourceManager申请资源，与NodeManage通信要求其启动Container，监控作业的运行状态，当任务失败时重新启动任务等。 ...
搭建开源Pentaho Kettle 8.1团队开发运行环境 （二、本地开发工具部署）
星空之家
11-26 2204
参考贴： （Pentaho）https://www.jianshu.com/p/7fa6f1079492 （怎么安装Pentaho）https://jingyan.baidu.com/article/3f16e00309df492591c103e8.html 一、安装JDK8   根据操作系统参数(32or64bit)下载并安装JDK8(jdk-8-windows-x64) 修改电...
Kettle性能调优汇总
weixin_34162629的博客
07-18 329
性能调优在整个工程中是非常重要的，也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面：一方面是硬件调优，一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen与Pan脚本中。修改脚本代码片段set OPT=-Xmx512m ...
Elastic-Job原理--任务调度处理（四）
井底之蛙
10-10 3637
     在上一篇博客Elastic-Job原理--任务分片策略（三）我们已经了解了Elastic-Job的任务分片策略，这篇博客我们了解学习一下Elastic-Job是如何执行分片任务的。       首先，Elastic-Job的定时任务执行机制还是基于quartz开发的，因此Elastic-Job实现了Quartz的任务接口Job实现了LiteJob，来根据定时任务规则执行定时任务。 实...
Spark Shuffle机制详解：对比MapReduce与SortShuffleManager
文档深入解析了Spark Shuffle的内部运作，包括SortShuffleManager的两种运行机制——普通机制和bypass机制。" 在Spark计算框架中，Shuffle是一个关键操作，它负责重新组织数据，确保相同键值的数据被分发到同一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值