hadoop优化-压缩案例

压缩案例：

1. map输入为数据压缩，map输出为数据压缩，reduce输出为数据压缩
2. 代码中指定配置编解码器为DefaultCodec

配置执行优先级：程序代码指定 > 自定义配置文件 > 默认配置文件

代码：

WordCountMapper类

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

/**
 * @create 2020-04-14 下午 3:26
 */
public class WordCountMapper extends Mapper<LongWritable,Text, Text, IntWritable> {
   
    IntWritable outVlue = new IntWritable(1);
    Text outKey = new Text();
    /**
     *
     * @param key
     * @param value
     * @param context
     */
    @Override
    protected void map(LongWritable key,Text value,Context context) throws IOException,InterruptedException{
   


        //1.将输入的第一行数据转换为String类型
        String line = value.toString();
        //2.使用空格切分数据
        String[] splits = line.