Q1: reduce的方式是将一个类型的key,送给同一个节点。比如说,把good都送给第一个节点。till送给第二个节点。那么如果做到这一点呢?
答:使用hash表的方式,一个key,放在hash表里面,就会产生一个为一个code(java 里面的数据结构是 hashcode),
然后再给它取余数。
比如机器有四个节点,做reduce,那么就取余4,这样计算的任务就分给四台机器。这个就是shuffl机制。(shuffl就是洗牌的意思)(这个算法其实就是哈希取模的算法)
Q2: map 执行完成之后,中间结果保存在哪里?
map函数输出的中间结果key/value数据在内存中进行缓存,然后周期性的写入磁盘。
每个map函数在写入磁盘之前,通过哈希函数,将自己的key/value对分割成R份。(R是reduce的个数 哈希函数一般是 用key对r进行哈希取模,这样将map函数的中间数据分割成r份,每一份分给一个reduce)。
当某个reduce任务的worker接收到master的通知,其通过rpc远程调用 将map任务产生的m份属于自己的文件远程拉取到本地。