1分片,格式化数据源(InputFormat)
首先mapreduce只能接受key/value形式的数据流,这也就是为什么会有分片,格式化数据源这一个过程的原因。首先一个大文件会被分割成文件块分布在集群中,InputFormat继续把文件块分片,至于一个分片的大小是有splitSize参数决定的,类InputSplit含有分片的信息,分片并不是生成新的文件副本,而是用InputSplit抽象包含数据的信息,比如起始位置,数据长度等。小于该值的部分也会成为一个InputSplit。
然后InputSplit就会被格式化key/value形式,key是偏移量,value是每一行的内容。每生成一个key/value就调用一次map函数,现在你能理解map函数的参数了吧
/*Context是上下文对象,你也可以把它理解成环境对象
StringTokenizer字符串分词器,是出于兼容以前的java程序而保留的类。
等价 String[] result = "this is a test".split("\\s");
for (int x=0; x<result.length; x++)
System.out.println(result[x]);
*/
public class MyMap extends Mapper<Object, Text, Text, IntWritable>{
/*
* final 不可变
* static 生命周期是应用
* private 私有,外界无权限访问,只有类中的方法可以访问
*/
private final static IntWritable one=new IntWritable();
private Text word=new Text();
public void map(Object key,Text value,Context context){
StringTokenizer itr=new StringTokenizer(value.toString());
while(itr.hasMoreTokens()){
word.set(itr.nextToken());
try {
context.write(word, one);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
2map函数
这部分是程序员自定义部分,也就是业务逻辑。
map端shuffle过程
shuffle有人称为清洗,也有人叫洗牌。shuffle是mr对程序员透明的核心内容:sort,combine,patition(分区)简称mr三板斧。首先,map产生的直接结果会向output缓存中,缓存的大小可以在配置文件中配置,当数据达到阈值时继续向缓存中写入数据,同时后台开启一个线程对缓存中数据排序,如果剩下的20%缓存已经写满了,而排序还没有进行完map任务就会暂停等待排序完成,排序后进行combine操作,然后write到本地端,该文件称为spill文件(溢出文件)。combine操作其实是reduce的一个实现,不过是运行在map端,job.setCombinerClass(Reducer.class);
该操作的目的就是减少输入reduce的数据和网络负载。combine后的数据是这样的
<key,{v1,v2,v3}>
当某一个服务器上的map任务完成后会有多个spill文件,这些文件是文件内部有序,而非整体有序,这个时候就会进行merge sort归并排序,合并成一个文件,这个大文件也是存储在本地文件系统中,然后进行区间划分,除了有一个大文件外,还有一个index索引文件,里面保存区间的偏离量,如:
patition0 0
patition 150
patition 288
后一个区间的key值大于先一个区间,然后把一个区间只能属于一个reduce。这就是patition.
3 reduce端shuffle过程
reduce一般都比map少,这就意味着reduce节点需要从多个map节点中copy数据。reduce的shuffle是sort combine两板斧
首先使用http协议copy分配给自己的数据,数据缓存在jvm的堆内存中,堆内存的大小可以设置。当数据量太大,达到一个阈值是就先对堆内存中的数据进行merge Sort,然后write本地文件,也称为spill文件。如果设置了combine也会在进行merge sort的同时进行合并,结果如上述。如果map端的数据实在是太大,就会有多个spill文件, 文件数达到一个的阈值(mapreduce.task.io.sort.factor参数默认0.66)就会对这些本地文件进行merge sort(把两个文件的内容读取到内存中,然后进行排序,最后写到一个文件中,这项工作可能会进行多次) ,以减少文件的数量,最后把所有的文件内容读取到内存中,进行排序然后输出给reduce
4文件写入hdfs(OutputFormat)
OutputFormat描述数据的输出形式, 并且会生成其他的对象,调用write()方法会把数据写入HDFS中。