shuffle过程——MRAPPmaster的任务监控调度机制

最新推荐文章于 2024-04-17 15:04:02 发布
最新推荐文章于 2024-04-17 15:04:02 发布
阅读量345 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013075024/article/details/90694924
版权

1. shuffle过程如下图所示

shuffle指的是把数据从map的输出导入到负责Reduce的程序的过程，是mapreduce编程模型中连接map阶段和reduce阶段的最重要环节。

在这里插入图片描述

2. 具体过程描述

  • （1）MRAPPmaster启动map task进程
  • （2）map task 向 MRAPPmaster汇报处理结果，结果文件所在位置，分区的信息
  • （3）MRAPPmaster启动reduce task，并 通知reduce task要取哪一个分区的数据、数据位置（即主机、文件具体位置）
  • （4）reduce task 从内存中下载数据
  • （5）合并数据
  • （6）reduce task 处理数据
  • （7）reduce task 输出处理结果到文件中
_missTu_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
5 ，调度 mr 任务 ：
孙砚秋的博客
07-29 318
1 ，目标 ： 使用 Oozie 调度 MapReduce 任务 2 ，准备 jar 包 找到一个可以运行的 mapreduce 任务的 jar 包 ( 可以用官方的，也可以是自己写的 ) 。 3 ，解压模板文件 ： ( 注意 ：解压模板变了 ) 解压 ： cd /export/servers/oozie-4.1.0-cdh5.14.0 mkdir test03 cp oozie-example...
HDFS机架感知策略，MapReduce的Shuffle过程
MrGeroge的博客
12-06 493
1.     HDFS机架放置策略（三副本如何放置） 1）第一个副本放在上传文件的DataNode 2）第二个副本放在不同机架上的任意节点 3）第三副本放在与2）相同机架上的不同节点 2.     MapReduce的Shuffle过程详解 Map端Shuffle操作： 1）  经过Map操作后，会得到多个key-value对，根据partition操作，由key-valu
Hadoop_MapReduce_Shuffle机制—图文详解
最新发布
喻师傅的学习笔记
04-17 765
MapReduce—Shuffle机制图文详解
Shuffle 工作机制
bangbinbing的博客
05-26 524
本章详细介绍了shuffle工作机制（自用）
shuffle流程理解
ShengBOOM的博客
06-02 1418
shuffle流程理解 什么是shuffle流程？ MapReduce确保每个reducer的输入都是按键排序的。系统执行排序，将map输出作为输入传给reducer的过程称为shuffle. 简单来说就是：从map输出开始，到reduce输入之前这个阶段。 如下图所示： 如图所示大致分为5个阶段： 1.Collect阶段 2.Spill阶段 3.Merge...
广播机制解决Shuffle过程数据倾斜的方法
05-06
在Spark计算平台中，数据倾斜...提出了广播机制避免Shuffle过程数据倾斜的方法，分析了广播变量分发逻辑过程，给出广播变量性能优势分析和该方法的算法实现.通过Broadcast Join实验验证了该方法在性能上有稳定的提升.
腾讯大数据之TDW计算引擎解析——Shuffle
03-04
腾讯分布式数据仓库...TDW计算引擎包括两部分：一个是偏离线的MapReduce，一个是偏实时的Spark，两者内部都包含了一个重要的过程——Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过
SparkShuffle过程分析：Reduce阶段处理流程
02-25
Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章SparkShuffle过程分析：Map阶段处理流程了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个...
mysql8.*的安装
whq1576049813的博客
12-08 114
链接：https://www.cnblogs.com/gaogaoyanjiu/p/9609923.html 作者写的很详细，我只是个搬运工，如有侵权，请联系删除！
什么是shuffle？shuffle的原理及过程
热门推荐
星空的风fly
11-15 2万+
首先，我们给 Shuffle 下了一个明确的定义，在分布式计算场景中，Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到，Shuffle 的计算会消耗所有类型的硬件资源。具体来说，Shuffle 中的哈希与排序操作会大量消耗 CPU，而 Shuffle Write 生成中间文件的过程，会消耗宝贵的内存资源与磁盘 I/O，最后，Shuffle Read 阶段的数据拉取会引入大量的网络 I/O。不难发现，Shuffle 是资源密集型计算，因此理解 Shuffle 对开发者来说至关重要。
MapReduce：1.概述
m0_53336038的博客
10-19 546
MapReduce：1.概述
Hadoop - MapReduce MRAppMaster-剖析
zzbjut
07-13 6863
Hadoop MapReduce On YARN的实现 --- MRAppMaster内部组件剖析。
YARN工作机制
一亿年开发经验
03-13 118
yarn工作机制
监控任务的设计思路
小浩子的博客
01-09 1230
这里就不画图了，文字表述即可。 假如现在有好几个业务子系统共同完成一个任务，当大量的任务来临时，怎么去保证每个任务都能跑完？这就需要我们对任务进行监控，我的思路是这样的：创建一个新的监控项目，定时遍历数据库的任务表，看看有没有新来的任务，有的话取出来，加入一个待执行队列，并计算超时时间，再开一个线程去判断该任务是否跑完，若超时了，则触发重发机制，若跑完了，则关闭线程。 这里有三个问题要特别注意 1...
YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析
caodaoxi的专栏
10-23 184
1. ContainerAllocator概述 ContainerAllocator负责与ResourceManager通信，为作业申请资源。作业的每个任务资源需求可描述为四元组<Priority, hostname，capability，containers>，分别表示作业优先级、期望资源所在的host，资源量（当前仅支持内存），container数目，比如： <10,...
在Hadoop中ApplicationMaster是干什么的？
mark_to_win的专栏
05-15 1267
ApplicationMaster：马 克-to-win @ 马克java社区：想了解ApplicationMaster，我们需要了解一下它工作的过程。 用户向YARN集群提交应用程序时：（包含ApplicationMaster程序，ApplicationMaster启动命令，用户自己的程序）后， ApplicationMaster向资源调度器申请执行任务的资源容器Container，运行用户自己...
Hadoop面试题
代码_搬运工
07-06 8798
Hadoop MapReduce采用Master/Slave结构 1. 列举出hadoop中定义的最常用的InputFormats.哪个是默认的？     TextInputFormat(默认)用于读取纯文本文件,key是每一行的位置偏移量，是LongWritable类型的，value是每一行的内容，为Text类型     KeyValueTextInputFormat 同样用于读取
Kettle实战100篇 第23篇 命令行介绍使用
八一菜刀的专栏
10-06 1288
我们在前面介绍的实战篇章中,基本都是在Spoon的图形化界面中点击运行按钮时来运行我们的作业或者转换的,但是Kettle也为我们提供了基于命令行的调用方式,基于命令行的方式可以方便我们通过Shell脚本或者Windows的Bat脚本来对作业&转换进行调用,这方便我们配置作业&转换的任务调度 我们可以在类似Unix平台上使用crontab服务来调用我们的Kettle作业&转...
基于web版kettle开发的用户专业版B/S架构工具
weixin_34015336的博客
08-08 1万+
代码地址如下：http://www.demodashi.com/demo/13399.html # webKettleETL产品介绍 精卫ETL平台，创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户. 模型模块进行ETL模型开发，在B/S系统中用拖拽的方式设计数据流逻辑。 其他六...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值