CombineTextInputFormat切片机制及其案例实操

框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。
一、应用场景：
CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
二、虚拟存储切片最大值设置
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
三、切片机制
生成切片过程包括：虚拟存储过程和切片过程二部分。

（1）虚拟存储过程：
将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。如果输入文件大于设置的最大值且大于两倍，那么以最大值切割一块；当剩余数据大小超过设置的最大值且不大于最大值2倍，此时将文件均分成2个虚拟存储块（防止出现太小切片）。
例如setMaxInputSplitSize值为4M，输入文件大小为8.02M，则先逻辑上分成一个4M。剩余的大小为4.02M，如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。
（2）切片过程：
（a）判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。
（b）如果不大于则跟下一个虚拟存储文件进行合并，共同形成一个切片。
四、案例实操
1．需求
将输入的大量小文件合并成一个切片统一处理。
（1）输入数据
准备4个小文件
（2）期望
期望一个切片处理4个文件
2．实现过程

Driver:
package com.atguigu.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
 * @author yqw
 * @since 2020-07-25 22:31
 */
public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1 获取配置信息以及封装任务
        Configuration configuration = new Configuration();
        // 每个MapReduce任务都被初始化为一个Job,它分为两个阶段，map和reduce阶段
        Job job = Job.getInstance(configuration);
        // 2 设置jar加载路径
        job.setJarByClass(WordCountDriver.class);
        // 3 设置map和reduce类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountRuducer.class);
        // 4 设置map输出
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        // 5 设置最终输出kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        // 6 设置输入和输出路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // 7 提交
        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 : 1);
    }
}

Mapper:

package com.atguigu.hdfs;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/** 进行数据的映射，形如（word,1）的形式
 * @author yqw
 * @since 2020-07-25 22:30
 */
/*因为数据要进行网络传输，所以要将java的数据类型转换为hadoop的，例如long->LongWritable,String->Text
 LongWritable 每一行输入数据的起始偏移量
 Text   每一行输入数据的类型
 Text   输出数据key的类型
 IntWritable   输出数据value的值
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
    // 创建一个对象，供map提交key使用
    Text k = new Text();
    // 输出数据的value,一般都为1
    // 此处的IntWritable是hadoop中的数据类型，相当于java中的int
    IntWritable v = new IntWritable(1);
    /**
     * 每调用一次map就会读取一行数据
     * @param key   输入数据的偏移量
     * @param value 输入数据
     * @param context   用于暂时存储 map() 处理后的结果
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key, Text value, Context context)   throws IOException, InterruptedException {
        // 1 获取一行
        String line = value.toString();
        // 2 切割
        String[] words = line.split(" ");
        // 3 输出
        for (String word : words) {
            k.set(word);
            context.write(k, v);
        }
    }
}

Reducer:

package com.atguigu.hdfs;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
/**
 * @author yqw
 * @since 2020-07-25 22:30
 */
/*
 Text map输出数据的key
 IntWritable   map输出数据的value
 Text   reduce输出数据key的类型
 IntWritable   reduce输出数据value的值
 */
public class WordCountRuducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    int sum;
    IntWritable v = new IntWritable();
    /**
     *
     * @param key   mapper传入过来的key
     * @param values    mapper传入过来的values,框架对它进行自动的combine、shuffle、sort，结果形如（1，1，1，2，2，3…….），
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
        // 1 累加求和
        sum = 0;
        for (IntWritable count : values) {
            sum += count.get();// count.get()是获取count的int类型的值
        }
        // 2 输出
        v.set(sum);
        context.write(key,v);
    }
}

（1）不做任何处理，运行上述程序，观察切片个数为4。
（2）在WordcountDriver中增加如下代码，运行程序，并观察运行的切片个数为1。
（a）驱动类中添加代码如下：

// 如果不设置InputFormat，它默认用的是TextInputFormat.class
job.setInputFormatClass(CombineTextInputFormat.class);
//虚拟存储切片最大值设置4m
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);

（b）运行结果为1个切片。