- 博客(4)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Facebook的公平份额调度器FairScheduler
FairScheduler是由Facebook公司提出的，为了解决Facebook要处理生产型作业(数据分析、Hive)、大型批处理作业(数据挖掘、机器学习)、小型交互作业(Hive查询)的问题。同时满足不同用户提交的作业在计算时间、存储空间、数据流量和响应时间都有不同需求的情况下，使用Hadoop mapreduce框架能够应对多种类型作业并行执行，使得用户具有良好的体验，所以Facebook提
2012-05-23 19:57:10
7826
14
原创 详谈计算能力调度器CapacityTaskScheduler
Hadoop中有一个默认的基于优先级的FIFO任务调度器JobQueueTaskScheduler，它的主要缺点就是对于在集群比较繁忙的情况，低优先级的作业将很难分配到集群的计算资源，这样对于那些低优先级同时又要求一定的响应时间的短作业来说是非常不利的。值得庆幸的是，Hadoop对作业的任务调度设计地相当灵活，即在它的任务调度器配置上开放了一个接口来允许用户根据自己的应用场景自定义一个合适的任务调
2012-05-16 20:25:16
5571
14
原创 Hadoop对计算节点TaskTracker的惩罚机制
在前面的一篇博文中，笔者详细的介绍了JobInProgress是如何给一个TaskTracker节点分配一个Map/Reduce任务的，但在讲述的过程中忽略了一个重要的细节，因为这个细节不是该博文所要讲述的重点，这个细节就是，JobInProgress在正式为TaskTracker节点分配一个任务之前，它都会先检查自己是否应该给该计算节点分配自己的计算任务。当这个计算节点满足要求时，JobInPr
2012-05-10 21:46:23
4209
2
原创 详谈JobInProgress中Map/Reduce任务分配
众所周知，JobTracker节点使用配置的任务调度器TaskScheduler来为某一个具体的TaskTracker节点分配任务，同时这个任务调度器只能决定给该TaskTracker节点分配哪一个Job或者那些Job的任务以及分配多少个任务，但是它却不能决定给当前的TaskTracker节点分配一个Job的具体的哪一个任务。另外，针对一个具体的TaskTracker节点而言，任何一个作业都可以判
2012-05-09 22:15:06
4774
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人