博客专栏  >  架构   >  MapReduce源码分析

MapReduce源码分析

从源码级别上逐步解析MapReduce的整个流程

关注
11 已关注
11篇博文
  • Yarn架构基本概况(二)

    在概况(一)中,主要简单的对Yarn的情况作了简单的介绍,今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况,帮助大家更好的理解Yarn。 1)ResourceManager 在Yarn的...

    2014-12-16 16:15
    1685
  • Yarn架构基本概况(一)

    1)引言 针对MRv1在扩展性,可靠性,资源利用率和多框架的支持上存在着明显的不足,进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个很大的问题就是...

    2014-12-15 13:48
    1940
  • TaskTracker学习笔记

    上次分析完JobTracker通过TaskScheduler如何把作业分配给TaskTracker,这次把目光 移动到TaskTracker上面。TaskTracker在这里其实是一个slave的从属...

    2014-11-25 09:41
    1859
  • JobTracker作业调度分析

    JobTracker的作业调度给我感觉就是比较宏观意义上的操作。倘若你只了解了MapReduce的工作原理是远远不够的,这时去学习一下他在宏观层面的原理实现也是对我们非常有帮助的。首先我们又得从上次分...

    2014-11-23 10:32
    1912
  • JobTracker作业启动过程分析

    在Hadoop中,启动作业运行的方式有很多,可以用命令行格式把打包好后的作业提交还可以,用Hadoop的插件进行应用开发,在这么多的方式中,都会必经过一个流程,作业会以JobInProgress的形式...

    2014-11-21 19:34
    2388
  • OutputFormat输出过程的学习

    花了大约1周的时间,终于把MapReduce的5大阶段的源码学习结束掉了,收获不少,就算本人对Hadoop学习的一个里程碑式的纪念吧。今天花了一点点的时间,把MapReduce的最后一个阶段,输出Ou...

    2014-11-19 10:40
    4184
  • Reduce Task的学习笔记

    MapReduce五大过程已经分析过半了,上次分析完Map的过程,着实花费了我的很多时间,不过收获很大,值得了额,这次用同样的方法分析完了Reduce的过程,也算是彻底摸透了MapReduce思想的2...

    2014-11-18 10:39
    2561
  • Partitioner分区过程分析

    Partition的中文意思就是分区,分片的意思,这个阶段也是整个MapReduce过程的第三个阶段,就在Map任务的后面,他的作用就是使key分到通过一定的分区算法,分到固定的区域中,给不同的Red...

    2014-11-16 14:48
    2516
  • Map Task内部实现分析

    上篇我刚刚学习完,Spilt的过程,还算比较简单的了,接下来学习的就是Map操作的过程了,Map和Reduce一样,是整个MapReduce的重要内容,所以,这一篇,我会好好的讲讲里面的内部实现过程。...

    2014-11-15 08:58
    3326
  • MapReduce的InputFormat过程的学习

    昨天经过几个小时的学习,把MapReduce的第一个阶段的过程学习了一下,也就是最最开始的时候从文件中的Data到key-value的映射,也就是InputFormat的过程。虽说过程不是很难,但是也...

    2014-11-14 10:14
    2048
  • MapReduce总体架构分析

    继前段时间分析Redis源码一段时间之后,我即将开始接下来的一段技术学习的征程,研究的技术就是当前非常火热的Hadoop,但是一个Hadoop生态圈是非常庞大的,所以首先我的打算是挑选其中的一部分模块...

    2014-11-12 21:29
    2305
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部