2013年11月_天外有菌

11月 10月 09月 08月 07月 06月 05月

原创 A rule of thumb about Interface vs Abstract Class

最近在翻阅Hadoop早期的jira list，对于一些重要的jira，会有很多贡献者的详细讨论，包括Doug Cutting, Tom White, Arun Murthy, Owen O'Malley等一批Hadoop领军人物的思想、观点，具有极强的学习价值。今天在阅读Hadoop-3412和HADOOP-1230，当中Doug Cutting阐述了如何选择Interface和Abstra

2013-11-09 17:21:16 776

原创【Hadoop】JobQueueTaskScheduler

JobQueueTaskScheduler是JT默认的任务调度器，其本质上维护一个priority-based FIFO作业队列，基本的机制是优先调度高优先级/提交时间早的作业。但是，具体的调度策略需要综合考虑一系列的问题，比如cluster资源利用率、系统吞吐率、任务locality等等。下面从这些方面来分析一下调度策略。单个TaskTracker利用率最初，JT调度器每次h

2013-11-08 17:48:47 1091

原创【Hadoop】Important Jiras Thoughout History

回顾Hadoop发展历史中的一些重要jira，对于学习和理解Hadoop设计原理和工作机制很有帮助，让你看到Hadoop commiters是如何一步步改进系统的。这里记录下个人觉得可以深入学习的jira。 https://issues.apache.org/jira/browse/HADOOP-3136 Assign multiple tasks per TaskTracker heartb

2013-11-07 00:03:01 948