hadoop中map数量的确定及host的选择

一:准备知识

 InputFormat接口:主要用于描述数据的格式,有两个功能,一个是数据切分,另外一个是为Mapper提供输入数据

 InputFormat其中一个实现基类是FileInputFormat,今天来学习一下FileInputFormat的实现,其中有两个核心算法,一个是文件切分算法,一个是主机选择算法

二:map数量的确定

      文件切分算法:用于确定InputSplit的个数以及每个Inputsplit对应的数据段

      InputSplit的个数由一下三个属性共同决定

             goalSize:根据用户期望的inputsplit数量决定,goalsize = totalsize / numSplit,totalsize是总文件大小,numsplit是用户设置的map task 个数,默认情况下为1.

             minSize: inputsplit的最小值,有配置参数mapred.min.split.size确定,默认为1

             blockSize:HDFS中block的大小,默认64M

      splitSize = max{minSize,min{goalSize,blockSize}}

    计算例子:minsize = 128MB,用户期望的numsplit为2,totalSize = 250MB,计算splitSize

              首先计算goalSize =  total/2 = 128MB

               min{goalSize,blockSize} = 64MB

              因此, splitSize = max{minSize,min{goalSize,blockSize}} = 128M,故InputSplit的数量为2

三:host的确定

       首先计算每个rack中含有InputSplit的大小(不要计算相同的数据),根据大小进行排序,在按照rack内部的node包含的数据量进行node排序,最后取前N个node作为host列表(N为副本数)

      当使用基于FileInputFormat实现InputFormat时,为了提高Map Task的数据本地性,应尽量使inputSplit大小与block的大小相同