mapreduce原理

跟面试官讲的时候，要具有条理，要从他的数据结构出发，他是key—value结构的，mapresuce都是对key进行sort和partation，partation成几个部分，再详细说怎么sort、就是shuffle阶段，这样比较好

总的来说就是任务的分解与结果的汇总

Mapreduce是一个分布式运算程序的编程框架，Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；
整体结构

一个完整的mapreduce程序在分布式运行时有三类实例进程：

1、MRAppMaster(mapreduce application master)：负责整个程序的过程调度及状态协调

2、mapTask：负责map阶段的整个数据处理流程

3、ReduceTask：负责reduce阶段的整个数据处理流程

流程解析

1、 一个mr程序启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信息，计算出需要的maptask实例数量，然后向集群申请机器启动相应数量的maptask进程

2、 maptask进程启动之后，根据给定的数据切片范围进行数据处理，主体流程为：

a)利用客户指定的inputformat来获取RecordReader读取数据，形成输入KV对

b)将输入KV对传递给客户定义的map()方法，做逻辑运算，并将map()方法输出的KV对收集到缓存

c)将缓存中的KV对按照K分区排序后不断溢写到磁盘文件 

3、 MRAppMaster监控到所有maptask进程任务完成之后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据范围（数据分区）

4、 Reducetask进程启动之后，根据MRAppMaster告知的待处理数据所在位置，从若干台maptask运行所在机器上获取到若干个maptask输出结果文件，并在本地进行重新归并排序，然后按照相同key的KV为一个组，调用客户定义的reduce()方法进行逻辑运算，并收集运算输出的结果KV，然后调用客户指定的outputformat将结果数据输出到外部存储

map阶段

将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理

这段逻辑及形成的切片规划描述文件，由FileInputFormat实现类的getSplits()方法完成，其过程如下图：

map并行度及切片机制

maptask的并发数由切片数决定

定义在InputFormat类中的getSplit()方法，默认的切片机制：

a) 简单地按照文件的内容长度进行切片

b) 切片大小，默认等于block大小

c) 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize,blockSize)); 

切片主要由这几个值来运算决定

minsize：默认值：1         配置参数： mapreduce.input.fileinputformat.split.minsize

maxsize：默认值：Long.MAXValue      配置参数：mapreduce.input.fileinputformat.split.maxsize

blocksize

因此，默认情况下，切片大小=blocksize

MAPREDUCE   wordcount编写

（1）用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)

（2）map()方法（maptask进程）对每一个<K,V>调用一次

（3）reduce（）方法（Reducetask进程）对每一组相同k的<k,v>组调用一次reduce()方法

需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数

(1)定义一个mapper类

//首先要定义四个泛型的类型
//keyin:  LongWritable    valuein: Text
//keyout: Text            valueout:IntWritable

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
	//map方法的生命周期：  框架每传一行数据就被调用一次
	//key :  这一行的起始点在文件中的偏移量
	//value: 这一行的内容
	@Override
	protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
		//拿到一行数据转换为string
		String line = value.toString();
		//将这一行切分出各个单词
		String[] words = line.split(" ");
		//遍历数组，输出<单词，1>
		for(String word:words){
			context.write(new Text(word), new IntWritable(1));
		}
	}
}

(2)定义一个reducer类

//生命周期：框架每传递进来一个kv 组，reduce方法被调用一次
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
		//定义一个计数器
		int count = 0;
		//遍历这一组kv的所有v，累加到count中
		for(IntWritable value:values){
			count += value.get();
		}
		context.write(key, new IntWritable(count));
	}
}