大数据面试(一)
mapreduce的原理与过程
mapreduce分为map阶段和reduce阶段,主要来源于人类解决问题的过程。其中,map可以理解为映射,是将数据x映射为map(k,v)的过程,reduce的过程的以组为单位的,一组数据调用一次reduce方法。
除了上述的map与reduce,切片也是mapreduce中重要的概念,切片是将要执行MapReduce的文件切成几份,以提高map的并行度。
值得注意的是MapReduce中的reduce过程依赖于map过程的输出。Hadoop中MapReduce一般是一个切片生成一个maptask,maptask是并行执行的。reducetask的数量(分区数)一般由人决定,部分reducetask可能会串行执行。更加详细的过程如下图。
切片中的每一条数据(数据是通过inputformat产生的)通过map生成map(k,v,p)(p为分区号,决定了该条数据应该去往哪个分区)存在内存缓冲区里,当缓存区放满了时,执行一次快速排序,并溢写到磁盘。反复这样多轮,此节点上会生成许多内部有序的文件。最终,会将这些文件归并排序成一个大文件。
接着,进入一个shuffle阶段,不同的分区会去哪去自己的数据(根据p),然后将哪去过来的小文件合并成一个新的文件,并执行reduce方法,值得注意的是合并的过程可以跟reduce的过程同时进行。