Hadoop学习日记(十三)
2019.07.03
主题:Shuffle机制
学习过程主要参考段海涛大数据p35
1. Map的并发任务数
Map任务与数据存储的数据中间有一层“切片(split)”的概念。
对于小文件处理,可使得一个split对应多个实际的数据块;当文件较大被分成多个128M的块时,一个split可对应一个块。
2.shuffle机制
1.每个map有一个环形内存缓冲区,用于存储任务的输出。默认大小100MB(io.sort.mb属性),一旦达到阀值0.8(io.sort.spill.percent),一个后台线程把内容写到(spill)磁盘的指定目录(mapred.local.dir)下的新建的一个溢出写文件。
2.写磁盘前,要partition,sort。如果有combiner,combine排序后数据。
3.等最后记录写完,合并全部溢出写文件为一个分区且排序的文件。
1.Reducer通过Http方式得到输出文件的分区。
2.TaskTracker为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成,Reduce就开始复制输出。
3.排序阶段合并map输出。然后走Reduce阶段。
关于shuffle在具体生产中的调优可考虑调整内存缓冲区大小等。
3.MRAppMaster的任务监控调度机制
4.MR程序的组件全貌
在之前的内容里,没有提到的就是InputFormat和OutputFormat。
Map接收的数据来自InputFormat,Reduce的输出由OutputFormat写到指定地点(默认是到hdfs上存储)。
如果不做设定,InputFormat(抽象类)默认是FileInputFormat(实现了InputFormat)的子类TextInpuFormat(多种不同文件类型,还有KeyValueTextInputFormat等等),读取文本文件。除了FileInputFormat,还有DBInputFormat(数据库相关)等等。
当然,OutputFormat也有很多类型。InputFormat和OutputFormat应该根据应用需求选择具体的实现类。
5.TextInputFormat对切片(split)规划的源码分析
这一小节主要参考段海涛大数据p37