hadoop
可爱马莲花
这个作者很懒,什么都没留下…
展开
-
MapReduce剖析笔记之五:Map与Reduce任务分配过程
转载:https://www.cnblogs.com/esingchan/p/3940565.html在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题,就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的,具体来说,存在一个抽象类:TaskScheduler,主要负责分配任务,继承该类的有几个类:C...转载 2018-10-17 13:39:15 · 1357 阅读 · 1 评论 -
MapReduce的执行机制
当我们只用几行代码就可以运行一个MapReduce作业时,我们是否知道其实里面隐藏着大量的执行细节.本文就是来揭示一个Hadoop运行作业的执行细节.运行MapReduce作业的过程将包含以下四个实体1. 客户端.提交hadoop作业2. 分布式文件系统(一般为HDFS),3. JobTracker.协调作业的运行4. TaskTracker运行作业划分后的任务客户端提交作业:1. ...转载 2018-10-17 13:41:11 · 154 阅读 · 0 评论 -
Hadoop2源码分析-准备篇
1.概述 我们已经能够搭建一个高可用的Hadoop平台了,也熟悉并掌握了一个项目在Hadoop平台下的开发流程,基于Hadoop的一些套件我们也能够使用,并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上,我们接着往后面去研究学习,那就是Hadoop的源码了,作为Hadoop开发人员,我们得去学习和研究Hadoop得实现原理,底层框架的设计,编码的实现过程等等,下面就开始我们今...转载 2018-10-17 13:45:03 · 194 阅读 · 0 评论 -
Hadoop2源码分析-MapReduce v2架构
转载:http://www.cnblogs.com/smartloli/p/4434490.html1.概述 前面我们已经对Hadoop有了一个初步认识,接下来我们开始学习Hadoop的一些核心的功能,其中包含mapreduce,fs,hdfs,ipc,io,yarn,今天为大家分享的是mapreduce部分,其内容目录如下所示:MapReduce V1 MapReduce V2...转载 2018-10-17 13:56:33 · 811 阅读 · 0 评论