yarn
文章平均质量分 65
tomson8975
这个作者很懒,什么都没留下…
展开
-
Yarn作业提交流程及RMApp状态机介绍
主要的几个状态机流程图:原创 2015-08-08 22:05:47 · 654 阅读 · 0 评论 -
MapRed程序map个数控制分析
前言: 我们在线上跑的MapRed程序和Hive程序,Map数到底怎么控制?这个问题一直比较模糊,这次有机会深入代码里面去看,才了解到其实MapReduce针对不同输入格式有不同的判断文件大小的规则以及文件切片和合并的方式。下面就来具体了解一下FileInputFormat和CompositeInputFormat两种主流输入格式的处理细节。首先在这里提一下MapRe原创 2015-10-28 10:31:51 · 3312 阅读 · 0 评论 -
nodemanager localizer进程泄漏问题
这个问题的现象是在mr程序中经常有map task的状态处于new,该状态表示container已经分配,但是还未启动起来,在这中间的状态是在执行localizing,即下载资源。一般这个过程不会持续很久,但是在监控界面上看到一个nodemanager上处于localizing状态的container长期达到半数以上。然后在这个机器上执行jps发现运行的YarnChild进程只有10个,正原创 2017-02-08 19:50:56 · 642 阅读 · 0 评论 -
Yarn 2.8.x 基于标签的调度
前言: 基于标签的调度解决的核心需求是实现部分资源的完全隔离,以及由此基础之上的各个资源池之间的资源互助,最终达到隔离并且弹性的计算形态。该特性开发现状: 最新版本2.8.x: 1.不支持标签表达式,如:&&,|,* 2.资源共享方式不实用,如:2.原创 2016-09-02 11:05:01 · 4512 阅读 · 0 评论 -
Nodemanager堆内内存泄漏问题记录
一.问题发现:发现nm堆内存使用率过高: Nodemanager堆内内存泄漏问题记录 > image2016-12-8 15:47:0.png" src="http://10.39.0.109:8090/download/attachments/1052454/image2016-12-8%2015%3A47%3A0.png?version=1&modificationDate=1原创 2017-02-08 12:26:07 · 2513 阅读 · 1 评论 -
队列得不到资源分配问题
常常发生队列得不到资源的情况,即使没有达到fairshare阈值。基础知识准备:首先,需要了解fairscheduler的调度原则是什么样的:1.首先,判断有没有达到minshare。2.其次判断minshare/权重比大小。3.再判断使用量/权重比大小。 队列得不到资源分配问题 > image2017-1-5 21:15:15.png" class原创 2017-02-08 12:14:51 · 1716 阅读 · 0 评论