MR 笔记一

1.MapReduce编程规范及示例编写
Mapper类
    用户自定义一个Mapper类继承Hadoop的Mapper类
    Mapper的输入数据是KV对的形式（类型可以自定义）
    Map阶段的业务逻辑定义在map()方法中
    Mapper的输出数据是KV对的形式（类型可以自定义）
注意：map()方法是对输入的一个KV对调用一次！！  简单点说 在读取文本的时候 每一行数据会触发一次Map任务
举个栗子 wordcount:
LongWritable, Text, Text, IntWritable
LongWritable:读取文本的偏移量(行级偏移量)
Text:读取文本一行的数据
Text:map的输出
IntWritable:计数 比如说一个单词算一次 那么就算1
 

Reducer类
    用户自定义Reducer类要继承Hadoop的Reducer类
    Reducer的输入数据类型对应Mapper的输出数据类型（KV对）
    Reducer的业务逻辑写在reduce()方法中
Reduce()方法是对相同K的一组KV对调用执行一次 涉及到多路归并排序 到reduce的数据会是hello,<1,1,1,1,1>
所以在重写reduce方法时values是一个迭代器:Text key, Iterable<IntWritable> values, Context context
举个栗子 wordcount:
Text, IntWritable, Text, IntWritable
Text, IntWritable:map的输出
Text:reduce的输出
IntWritable:最终的计数

Driver阶段
创建提交YARN集群运行的Job对象，其中封装了MapReduce程序运行所需要的相关参数入输入数据路径，输出数据路径等，也相当于是一个YARN集群的客户端，主要作用就是提交我们MapReduce程序运行