hadoop之MapReduce框架

1、 MapReduce框架的角色
MapReduce有两大角色：Master和Worker
　 1.1、Master作用
　　　1.1.1、管理所有的作业
　　　1.1.2、将作业分解成一系列的任务
　　　1.1.3、将任务指派给 Worker
　　　1.1.4、作业、任务的监控以及错误处理等
　1.2、Worker作用
　　　1.2.1、运行Map Task和Reduce Task
　　　1.2.2、与Master进行交互，执行命令，并汇报任务执行状态
2、MapReduce框架的原理
　2.1、MapReduce分布式的运算程序至少2个阶段。
　2.2、第一个阶段的MapTask并发实例，完全并行运行，互不相干。
　2.3、第二个阶段的ReduceTask并发实例互不相干，但是它们的数据依赖于上一个阶段的所有MapTask并发实例的输出。
　2.4、MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。
３、MapReduce框架核心机制示

Mapper阶段，在对数据进行具体的计算之前，会对数据先进行切片。
默认的切片规则是实现类FileInputFormat，默认把切片变成key，value值的实现类为TextInputFormat（按行读取每条记录，键是存储该行在整个文件中的起始偏移量，LongWritable类型；值是这行内容 Text类型），它返回的RecordReader类型为LineRecordReader。
默认的FileInputFormat–TextInputFormat

public class TextInputFormat extends FileInputFormat<LongWritable, Text> {
	@Override
	public RecordReader<LongWritable, Text> createRecordReader(InputSplit split,TaskAttemptContext context) {
  		String delimiter = context.getConfiguration().get("textinputformat.record.delimiter");
  		byte[] recordDelimiterBytes = null;
 		if (null != delimiter){recordDelimiterBytes = delimiter.getBytes(Charsets.UTF_8);}
		return new LineRecordReader(recordDelimiterBytes);
	}
}

MapTask的数量是由InputFormat来指定的，InputFormat生成多少个InputSpilt切片数就会有多少个task。
MapTask并行度决定机制
数据块：Block是HDFS物理上把数据分成一块一块。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。
@一个job的map阶段的并行度是由客户端提交job时的切片数决定的；
@每一个split切片分配一个MapTask实例并行实行；
@默认情况下，BlockSize=切片大小；
@切片时不考虑数据整体，而是针对每一个文件单独切片；
@文件的剩余长度小于切片大小的1.1倍，则划分为一个切片。
假设Block大小为128m
假设切片split大小为100m
一个300m的文件切片如下（红色线是切片，蓝色的是hdfs中block大小）：

MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。

4、MapReduce框架数据处理示意图以及wordcount代码示例

4.1、wordcount程序之Mapper

package cn.edu360.mr.wordcount;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/**
 * 四个泛型类型参数的解释： LongWritable, Text, Text, IntWritable 1、表示worker(map
 * task)传入的KEY的数据类型，默认是一行的起始偏移量 2、表示worker(map task)传入的VALUE的数据类型，默认是一行的文本内容
 * 3、表示我们自己的 map方法产生的结果数据的KEY的类型 4、表示我们自己的map方法产生的结果数据的VALUE的类型
 */
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
	/**
	 * map()方法是被谁调？—— map task这个worker worker是如何调？——
	 * 它每读一行数据就调一次，并将这一行的偏移量传入参数key，这一行的内容传入参数value
	 */
	@Override
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		// 对这一行文本切单词
		String line = value.toString();
		String[] words = line.split(" ");
		// 将每一个单词输出为 <单词，1>这样的kv数据返回给worker
		for (String word : words) {
			context.write(new Text(word), new IntWritable(1));
		}
	}
}

4.2、wordcount程序之Reducer

package cn.edu360.mr.wordcount;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
	/**
	 * reduce()方法是谁在调？—— worker(reduce task)在调 worker怎么调？——
	 * 它将收到的数据按相同key分成若干组，然后，对每一组调一次reduce()方法
	 */
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
		// 将这一组<单词,1>数据的value进行累加即可得到这个单词的总次数
		int count = 0;
		for (IntWritable value : values) {
			count += value.get();
		}
		// 然后将《单词，总数》这个kv数据返回给worker即可
		context.write(key, new IntWritable(count));
	}
}

4.3、wordcount程序之JobSubmitter

package cn.edu360.mr.wordcount;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 这是一个用来提交mapreduce程序的程序
 * 或者也可以称为一个 Yarn客户端程序
 * 将工程打成jar包，然后拷贝到linux机器上
 * 然后用hadoop命令辅助启动jar包中的客户端main程序
 * hadoop jar wc.jar cn.edu360.mr.wordcount.JobSubmitter
 */
public class JobSubmitter {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "hadoop01");
		Job job = Job.getInstance(conf);
		// 指定整个程序的jar包文件在哪？
		// job.setJar("/root/wc.jar");
		job.setJarByClass(JobSubmitter.class);	
		// 指定这个job所要使用的mapper类
		job.setMapperClass(WordcountMapper.class);
		// 指定这个job所要使用的reducer类
		job.setReducerClass(WordcountReducer.class);
		// 指定map阶段输出的key-value的类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		// 指定reduce阶段输出的key-value类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		// 指定job所要处理的数据文件所在路径
		FileInputFormat.setInputPaths(job, new Path(args[1]));
		// 指定job输出结果的路径
		FileOutputFormat.setOutputPath(job, new Path(args[2]));
		// 指定要启动的reduce task数量，默认为1
		job.setNumReduceTasks(Integer.parseInt(args[0]));
		boolean res = job.waitForCompletion(true);
		System.exit(res?0:1);	
	}
}