yarn-大管家
_东极
少年锦时
展开
-
作业提交的全过程
作业提交之YARN 作业提交全过程详解 (1)作业提交 第0步:client调用job,waitForCompletion方法,向整个集群提交MapReduce作业 第1步:client向RM申请一个作业id 第2步:ResourceManager给client返回该job资源的提交路径和作业id 第3步:client提交jar包,切片信息和配置文件到指定资源提交路径 第4步:client提...原创 2018-11-09 20:37:15 · 1167 阅读 · 1 评论 -
资源调度管理器
Hadoop的作业调度器主要有三种:FIFO ,Capacity Scheduler 和Fair Scheduler 2.7.2版本默认是Capacity Scheduler 配置yarn-default.xml文件 <property> <description>The class to use as the resource scheduler.</descr...原创 2018-11-09 21:08:13 · 1072 阅读 · 0 评论 -
Hadoop中任务推测执行
作业完成时间取决于最慢的任务完成时间 一个作业由若干Map任务和Reduce任务构成,但因硬件老化,软件BUG,某些任务可能运行非常慢 典型案例:系统中有 99%的 Map 任务都完成了,只有少数几个 Map 老是进度很慢,完不成,怎么办? 推测执行机制 发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度,为拖后腿任务启动一个备份任务,同时运行,谁先运行完,就用谁的结果 执行推测...原创 2018-11-09 21:21:56 · 1116 阅读 · 0 评论