想必大家在学习hadoop/mapreduce的时候对于遇到的好些学术名词已经很是头疼,虽然老外已经是很实诚的使用一些字面词义的单词了,但是要全部理解并指导整个mapReduce的运作还是有点费劲的,本人就是,于是就给自己编了一个故事,方便自己记住和了解。
名词:Map ,Reduce, job, JobTracker ,TaskTracker ,Task ,Speculative Task
BOSS
有一天BOSS说:“我要吃蜂蜜”,注意,这个时候你就必须要响应BOSS,否则以后怎么加工资啊,所以job 就来了,这个job是啥?
BOSS要吃蜂蜜,那job就是 把蜂蜜端到BOSS面前,立马的,赶紧的。
这个时候BOSS的助手喊了一声“MAP”
好,下面的人都懂的,一个虔诚的boss信徒站了出来,注意这个时候信徒就是JobTracker ,信徒吹了一声很响的口哨,马上几只蜜蜂串了出来,嗡嗡围在信徒周围;
这时蜜蜂就是TaskTracker 了,信徒向蜜蜂介绍了下BOSS的情况,情况就是BOSS要吃蜂蜜,那个想啊,快要到了夜不能眠的地步了,我们要急BOSS所急,马上采集
蜂蜜。
蜜蜂飞到花那边,采啊采,采啊采,采啊采,采啊采,这些歌蜂蜜比较笨,采好后都拽在手里(当然也有不笨的,采完就放桶里了)。。。。太阳快下山了,task也该完成了吧,(服务器性能不好,task花了那么长时间,task就是采集花蜜这件事),
晚上了,要开吃了,甜点蜂蜜呢?这个时候BOSS的助手又喊了一声“Reduce”,
喊得比较响,蜜蜂听到了,他们赶紧把手中的花蜜放到桶里,注意每个蜜蜂的桶都是一模一样的,这个动作就是Reduce。注意,前面有蜜蜂已经采完就放桶里了,那说明啥?
说明map和reduce可以同时进行的。
那Speculative Task是啥?那个是防止BOSS的蜂蜜吃不饱,特意多采的,备用的。
听说后来老板喝蜂蜜喝的很满意,觉也睡好了,大家都知道了,后来通说这个蜜蜂采蜜的花园名叫做HDFS, 过去采蜜的也多了,有HIVE ,有.