hadoop
我爱吻篮板
每天学习一点点
展开
-
Jobtrack,Tasktrack,Task失败概述
在开始描述Jobtracker,Tasktracker,Task失败之前,先回顾下Jobtracker,Tasktracker以及Task的功能。一:概述 hadoop采用的是Master/Slaves结构。Master的作用就是对整个集群进行状态监控,任务调度,作业管理。Jobtracker就是MapReduce中的Master。同理,Slaves负责执行任务和执行任务状态的返回,也就原创 2018-01-23 15:40:36 · 1020 阅读 · 0 评论 -
shuffle和排序
shuffle概述:MapReduce的Map阶段已经按照key来排好序。系统执行排序的过程---Map作为Reduce的输入,这个过程称为shuffle(洗牌)。 了解shuffle的过程有利于我们更好的掌握MapReduce的过程从而能够进行调优。从许多方面来看shuffle是Map-Reduce的心脏,是奇迹发生的地方。 MapReduce的shuffle过程如下图:Ma原创 2018-01-26 13:46:49 · 689 阅读 · 0 评论