我是world,这是我的Hadoop WordCount之旅(二)

我叫world,hello world的world,咱们书接上回,上回书说到我们一家被一个叫小客(hadoop client)的运送到了一个叫hdfs的地方,我们在那等待着被MapReduce进行体检。

体检进行中

等了好久,终于等到今天,这天阳光明媚,风和日丽,红旗招展,万象更新。。。。hadoop大爷终于通知我们要被进行体检啦。

hadoop大爷瞅了我们一眼,就一眼,然后缓缓的说到,去TextInputFormat那报道吧,我还在懵逼TextInputFormat是啥的时候,hadoop老大爷大手一挥,就把我们送到了TextInputFormat那,下面简称TIF。

只见TIF拿出算盘,掏出个小本,嘴里念念有词道:看看hadoop大爷配置的最大/最新分片值,看看blockSize(块的大小)。。。,TIF边念叨边飞快的打算盘,一会就说搞定啦,要给我们重新排队,并且给了一个通行证,说到了Mapper那,他只认这个。

咱也不敢问,他也不说,我们只好拿着这个通行证到下一个检查科室Mapper那,不过在TIF那临走的时候,他说给我们预约了三个Mapper医生检查,为什么是三个呢,怎么不在多一点呢,咱也不懂也不敢问,你知道吗?(答案见评论区)

早就听说hadoop大爷手下有两员大将:map和reduce,现在能见识下map了,战战兢兢的拿着通行证敲开mapper的门。

先进去的是我和我大哥hello, 就见Mapper分给我们一个牌,上面写着个数字1,然后说:拿好,走吧,在门外等着我,下一位!还没等我问呢,就被Mapper一脚踢出了门外。我外面等了一会,见所有的兄弟姐们都是这样的情形,每个人进去拿了个写着数字1的牌子就出来了

等Mapper处理完分来的这一批,然后出来说,让我们按照名字一样的站一队。

等我们都站好后,Mapper挨个查人,对于人数大于1的说在里面选个代表就行,然后给代表换了一个牌,又按照名字排个序,最后变成了这样:

然后说,我这检查完了,你们可以去reduce那了。

在reduce那我遇到了之前分开的兄弟姐妹,听说是因为我们在mapper那检查完后剩余的不是很多了,所以hadoop大爷给我们设置了一个reduce,这样才能和之前分开的兄弟姐妹相见,要是hadoop大爷给我们分配多个reduce的话,我们还是无法见面。

他乡亲人相见,自然要交流一番,通过得知我们的经历竟然是一模一样的,还没待我们热乎完,Reducer就来了。Reducer喊到“亲们,我知道你们有很多话要说,但是现在,请各位按照来时map的顺序站队“。得,又是站队。

站好对之后,reducer飞速的在我们队列之间拉人重排序,我们站的对就变成了:

这样排好之后,对我们说按照排好的顺序,依次进行Reducer的检查室。

等我们依次进入Reducer的检查室之后,Reducer也产出了一份我们家族的检查单,说会让之前的小客把检查单给邮寄到hdfs的另一个地方。

检查单邮寄

检查单的邮寄我们踏上旅途的过程是一样的,这里就不再赘述了。

 

结语

以上就是我World这个单词整个旅途所遇到的事情,其实在旅途中还有很多繁琐的事情没有说明,比如Mapper、Reducer是怎么给我们排队的等,这待以后慢慢讲述吧


欢迎关注公众号

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值