MapReduce
文章平均质量分 84
Cway_l
这个作者很懒,什么都没留下…
展开
-
MapReduce运行框架
在Hadoop1.X版本中,MapReduce是通过JobTracker运行实现的 我们写好MapReduce程序打成jar包交给client端,client把jar包提交到JobTracker。JobTracker把这个作业拆分成很多份,然后分配给TaskTracker去执行。JobTracker和TaskTracker是主从关系,通过心跳机制管理。TaskTracker并不是随机分配任务的,...原创 2018-10-18 16:28:52 · 875 阅读 · 0 评论 -
yarn集群搭建
集群规划: NN-1 NN-2 DN ZK ZKFC JNN RS NM node01 * * * * node02 * * * * * * * node03 * * * * node04 * * *原创 2018-10-18 16:51:54 · 177 阅读 · 0 评论 -
MapReduce原理
MapReduce是一种处理大型及超大型数据集并生成相关执行的编程模型。通俗来讲,MapReduce是一个大数据分布式计算框架,它基于google的一篇研究论文MapReduce。 MapReduce是由两个阶段组成: Map端 Reduce端 而Map端和Reduce端之间有着一系列复杂的suffle(洗牌)过程 主要思想:分久必合 核心思想:"相同"的key为一组,调用一次reduce...原创 2018-10-17 11:00:22 · 655 阅读 · 0 评论