Hadoop源码学习研究
文章平均质量分 90
对Hadoop的Common,MapReduce和HDFS各个模块的源码进行学习和研究,展示这个开源项目中的一些优秀的设计思想和实现方式。
择思
专注技术积累
展开
-
MapReduce任务执行过程研究之Collect过程
最近一直在找工作,写论文,对MapReduce源代码的学习搁置了很久,想来想去认为不能放弃,有意义的事情一定要做好,要做到底,要尽力。前面的文章到后来写的有些心不在焉,有应付之嫌,如今重新拾起,认真学习,认真写下去。MR 2.0已经发布很久了,新架构新思想很值得学习,学无止境啊。 参考书目: 【1】《Java编程思想(第四版)》 【2】《Hadoop 技术内幕:深入解析MapReduce架构原创 2014-04-01 16:05:28 · 3197 阅读 · 0 评论 -
MapReduce调度与执行原理之任务执行(一)
前言:本文旨在理清在Hadoop中一个MapReduce作业(Job)在提交到框架后的整个生命周期过程,权作总结和日后参考,如有问题,请不吝赐教。本文不涉及Hadoop的架构设计,如有兴趣请参考相关书籍和文献。在梳理过程中,我对一些感兴趣的源码也会逐行研究学习,以期强化基础。 作者:Jaytalent 开始日期:2013年9月9日 参考资料:【1】《Hadoop技术内幕--深入解析MapRe原创 2014-02-13 21:47:34 · 3452 阅读 · 0 评论 -
MapReduce多用户任务调度器——容量调度器(Capacity Scheduler)原理和源码研究
前言:为了研究需要,将Capacity Scheduler和Fair Scheduler的原理和代码进行学习,用两篇文章作为记录。如有理解错误之处,欢迎批评指正。 容量调度器(Capacity Scheduler)是Yahoo公司开发的多用户调度器。多用户调度器的使用场景很多,根据资料1的说法,Hadoop集群的用户量越来越大,不同用户提交的应用程序具有不同的服务质量要求(QoS): 1. 批原创 2013-10-07 20:22:49 · 5461 阅读 · 0 评论 -
MapReduce调度与执行原理之任务调度(续)
前言:本文旨在理清在Hadoop中一个MapReduce作业(Job)在提交到框架后的整个生命周期过程,权作总结和日后参考,如有问题,请不吝赐教。本文不涉及Hadoop的架构设计,如有兴趣请参考相关书籍和文献。在梳理过程中,我对一些感兴趣的源码也会逐行研究学习,以期强化基础。 作者:Jaytalent 开始日期:2013年9月9日 参考资料:【1】《Hadoop技术内幕--深入解析MapRe原创 2013-09-15 17:56:24 · 3672 阅读 · 1 评论 -
MapReduce调度与执行原理之任务调度
前言:本文旨在理清在Hadoop中一个MapReduce作业(Job)在提交到框架后的整个生命周期过程,权作总结和日后参考,如有问题,请不吝赐教。本文不涉及Hadoop的架构设计,如有兴趣请参考相关书籍和文献。在梳理过程中,我对一些感兴趣的源码也会逐行研究学习,以期强化基础。 作者:Jaytalent 开始日期:2013年9月9日 参考资料:【1】《Hadoop技术内幕--深入解析MapRe原创 2013-09-13 16:45:17 · 6366 阅读 · 0 评论 -
MapReduce调度与执行原理之作业初始化
前言:本文旨在理清在Hadoop中一个MapReduce作业(Job)在提交到框架后的整个生命周期过程,权作总结和日后参考,如有问题,请不吝赐教。本文不涉及Hadoop的架构设计,如有兴趣请参考相关书籍和文献。在梳理过程中,我对一些感兴趣的源码也会逐行研究学习,以期强化基础。 作者:Jaytalent 开始日期:2013年9月9日 参考资料:【1】《Hadoop技术内幕--深入解析MapRe原创 2013-09-09 22:09:30 · 2898 阅读 · 0 评论 -
MapReduce调度与执行原理之作业提交
前言:本文旨在理清在Hadoop中一个MapReduce作业(Job)在提交到框架后的整个生命周期过程,权作总结和日后参考,如有问题,请不吝赐教。本文不涉及Hadoop的架构设计,如有兴趣请参考相关书籍和文献。在梳理过程中,我对一些感兴趣的源码也会逐行研究学习,以期强化基础。 作者:Jaytalent 开始日期:2013年9月9日 参考资料:【1】《Hadoop技术内幕--深入解析MapRe原创 2013-09-09 16:14:25 · 3097 阅读 · 0 评论