个人学习过程中总结,如有不同见解望交流。
MapReduce 是一种编程模型,是面向大数据并行处理的计算模型、框架和平台。它的编程思想是将数据处理流程分为Map离散和Reduce归约两个部分,基于已封装的框架API编程,并以多个节点分布式并行处理,具有很高的性能和编程简化度,且支持跨语言编程。
MapReduce运行流程:
1、Map阶段:
(1)split阶段:任务开始运行后,对读取文件进行切片(split),一般文件分为几个blook块就split成几个切片(若block块的大小介于split设置的最大最小值之间则为一对一,否则按split设置值来切片),一般每个切片对应一个map task即一个map任务。map task分完后,再对传进来的数据进行切分,把一行切分为一个<k,v>结构。
如<0,hello you> <10,hello me>
之后接收产生的<k,v>进行处理,转换为新的<k,v>输出。(每一行即一个<k,v>调用一次map函数)
如:<hello,1> <you,1> <hello,1> <me,1>
(2)patition阶段:对输出的<k,v>进行分区,一般一个区对应一个reduce输出文件。(可自定义分区方法)
(3)sort阶段:对不同分区中的数据进行排序(按照k,也可自定义)、分组。分组指的是相同key的value放到一个集合中。 排序后:<hell