MapReduce
文章平均质量分 84
Cway_l
这个作者很懒,什么都没留下…
展开
-
MapReduce运行框架
在Hadoop1.X版本中,MapReduce是通过JobTracker运行实现的我们写好MapReduce程序打成jar包交给client端,client把jar包提交到JobTracker。JobTracker把这个作业拆分成很多份,然后分配给TaskTracker去执行。JobTracker和TaskTracker是主从关系,通过心跳机制管理。TaskTracker并不是随机分配任务的,...原创 2018-10-18 16:28:52 · 883 阅读 · 0 评论 -
yarn集群搭建
集群规划:NN-1NN-2DNZKZKFCJNNRSNMnode01****node02*******node03****node04***原创 2018-10-18 16:51:54 · 182 阅读 · 0 评论 -
MapReduce原理
MapReduce是一种处理大型及超大型数据集并生成相关执行的编程模型。通俗来讲,MapReduce是一个大数据分布式计算框架,它基于google的一篇研究论文MapReduce。MapReduce是由两个阶段组成:Map端Reduce端而Map端和Reduce端之间有着一系列复杂的suffle(洗牌)过程主要思想:分久必合核心思想:"相同"的key为一组,调用一次reduce...原创 2018-10-17 11:00:22 · 670 阅读 · 0 评论