调度器
文章平均质量分 66
飞火流云
这个作者很懒,什么都没留下…
展开
-
Hadoop内存管理及cpu管理
转自 : http://blog.csdn.net/flyingpig4/article/details/8754625Hadoop目前较新版本的内存管理(含cpu)分为三个层面,包括JobTracker对Job提交阶段, TaskTracker内存定期检查,JobTracker分配 task扩展点JobTracker 设置参数控制Job提交时的内存设置1.1:init转载 2013-10-06 22:09:27 · 831 阅读 · 0 评论 -
YARN ResourceManager调度器的分析
转自: http://tech.uc.cn/?p=1438 YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如,CPU资源分配等特性在不就的将来就会加入。为了方便查阅源代码,原代码位置使用[类名:行号]方式转载 2013-07-22 14:15:41 · 1115 阅读 · 0 评论 -
Hadoop 资源监控
hadoop内部涉及到资源监控的模块,包括以下两个: metrics* 和 jmx/JMXJsonServlet 事实上,注意到metrics2/util/MBeans中,有这么一句: final MBeanServer mbs = ManagementFactory.getPlatformMBeanServer(); 可见其也是遵守jmx标准的。原创 2013-09-03 12:00:33 · 1761 阅读 · 0 评论 -
PBS作业调度应用与说明
转自: http://blog.sciencenet.cn/blog-355217-464900.htmlPBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需 要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作转载 2013-09-17 15:54:38 · 9605 阅读 · 2 评论 -
MapReduce任务创建和分配流程
这篇文章写的不错 http://blog.csdn.net/jackydai987/article/details/6227365总结下主要流程:1. JobClient.runJob() 根据用户设置的InputFormat类将输入数据进行切分,将相应的信息放在 job.jar, job.split和job.xml这三个文件中并存入HDFS.2. :JobTra原创 2013-12-18 20:03:41 · 1184 阅读 · 0 评论 -
hadoop 中FIFO任务分配流程简化描述
代码总体很复杂,简化下流程是assignTasks流程:FIFO的分配任务算法流程: // map任务分配 for (int i=0; i for (JobInProgress job : jobQueue) { 该作业有可分的任务,当前map slot分配给它。退出此次循环,进行下一个map slot的分配 } }原创 2014-02-24 17:36:12 · 1052 阅读 · 0 评论 -
YARN ResourceManager failover机制
RM(ResourceManager)每次在启动之前都会进行初始化并执行一次recovery操作,然后才启动RM,对外提供服务。RM启动流程如下图:RM启动流程图RM中的各种服务包括:(1)、ContainerAllocationExpirer:监控Containter是否到期。(2)、AmLivelinessMonitor:监控App的存活状态。转载 2013-03-07 16:16:43 · 1784 阅读 · 0 评论 -
如何对hadoop作业的某个task进行debug单步跟踪
转自:http://blog.csdn.net/ae86_fc/article/details/5957715对于使用hadoop进行日志分析等工作的开发者来说,相信一直都面临着一个非常头 疼的问题。那就是:对hadoop的mapreduce作业,在分布式集群上进行单个task的单步debug跟踪调试无法办到。只能在本地进行调试,然 后提交到集群中运行,但是集群中如果某个task总转载 2013-03-07 11:34:03 · 853 阅读 · 0 评论 -
关于TaskAction
转自: http://flyingdutchman.iteye.com/blog/1877214在本节中,我们特别来学习一些有心跳(HeartBeat)的相关知识,这包括用途、心跳的发送、接收和应答。 JobTracker和TaskTracker之间是通过心跳来进行信息沟通的,TaskTracker通过周期性的通过心跳向JobTracker汇报该节点和任务的状态。转载 2013-09-24 15:03:33 · 1611 阅读 · 0 评论 -
yarn fairscheduler原理与配置
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法.代码在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类:各个类作用的简要描述:1. Al转载 2012-12-28 11:53:54 · 1043 阅读 · 0 评论 -
[转载]PBS作业调度应用与说明
PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需 要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作业和串行、多种并行作业,如MPI、 PVM、HPF、MPL;PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地转载 2013-07-04 19:15:11 · 942 阅读 · 0 评论 -
YARN/MRv2异步处理编程模型介绍
一、前言YARN/MRv2在处理请求时采用了基于事件驱动机制的异步编程模型SEDA,如下图所示:事件通过Dispather中一个HandlerThread分发给该事件对应的EventHandlerService来处理。每种事件对应一种EventHandler。未被EventHandler处理的事件,会放在EventQueue中等待被处理。SEDA(Staged Event转载 2012-12-28 11:43:18 · 734 阅读 · 0 评论