作业在map-reduce过程中的文件编码/解码

      Hadoop为HDFS和Map-Reduce提供了一整套的数据编码/解码系统，同时还为用户开放了公共的自定义接口，这样用户就可以根据不同的数据类型自定义或者设置不同的数据压缩算法。在Hadoop中对数据进行压缩处理会对系统的整体性能有一定的提高，至于具体提高多少，由于条件所限，笔者在这里并没有进行详细地测试。为什么会这么说呢？很明显，对数据进行压缩，就会减少数据的存储容量，这样的话网络I/O也会随之减少，但是，数据的压缩与解压缩也会占用一定的时间和系统开销，所以对作业的数据进行压缩处理并不一定会提高作业的吞吐量。另外，不同的数据类型，即使是采用相同的压缩算法，最后所得到的压缩率、平均时间消耗也会不一样。在这里就有必要提醒大家，作业是否采用数据压缩(数据网络I/O延时与数据编码/解码的时间消耗的取舍)，选择什么样的压缩算法(数据的压缩率，这往往和数据类型有关)，需要根据应用场景的具体情况而定，切不可盲目跟从。

     本文将主要讲述一个作业(Job)在map和reduce处理过程中的数据输入输出的解码与编码的选择设置，这个全过程如下图：

1.map的输入

       如果map操作的输入数据是经过压缩的话，用户其实并不需要显示地告诉Hadoop集群，因为map操作的RecordReader是交由用户来实现或者指定的，因此用户知道输入文件是否被压缩过，用的是什么压缩算法。这样当用户读取数据时会先采用对应的解压算法来解码，然后把解码后的数据封装成key-value对。当然，对于Hadoop内部的RecordReader实现——LineRecordReader是根据文件的名字来确定数据是否被压缩，用的是什么压缩算法。

2.map的输出

         如果需要对某一个作业的map输出(中间结果)进行数据压缩，以减少reduce阶段执行shuffle时所造成网络延时，这样的话就需要在客户端提交该作业之前进行显示的配置：

         1).设置map的输出数据需要被压缩

<property>
    <name>mapred.compress.map.output</name>
    <value>true</value>
</property>

           2).设置map的输出数据的编码解码器

<property>
    <name>mapred.map.output.compression.codec</name>
    <value>编码解码器实现类的全限定名</value>
</property>

3.reduce的输入

     reduce的输入就是map的输出，如果map的输出被压缩的话，那么对应的reduce就必须要解压缩。在ReduceTask shuffle一个map的输出数据之前，他会先判断该作业是否设置了要压缩map的输出数据(mapred.compress.map.output)，如果是则会实例化对应配置(mapred.map.output.compression.codec)的数据编码解码器，然后一边从map中获取输出数据，一边对获取到的map输出数据进行解码。

4.reduce的输出

     如果用户想要对作业最后的reduce输出结果数据进行压缩的话，就需要在reduce操作的RecordWriter实现中采用某用压缩算法，对输出的key-value值进行压缩。至于具体用什么压缩算法可以有用户在具体实现reduce操作的RecordWriter时选择。另外，对于Hadoop内部reduce操作的RecordWriter实现，可以通过配置参数来为RecordWriter设置数据压缩算法，设置的方法如下：

        1).设置作业最后输出的数据需要被压缩

<property>
    <name>mapred.output.compress</name>
    <value>true</value>
</property>

           2).设置作业最后输出数据的编码解码器

<property>
    <name>mapred.output.compression.codec</name>
    <value>编码解码器实现类的全限定名</value>
</property>

    最后，还要着重指出的一个问题是，对于一个作业的输入数据，如果该数据被压缩了的话，那么很可能为了保证数据的完整性，就使得这些数据就无法被数据切割器来分片，关于Hadoop内部的编码解码器是否是指切分的详细情况如下：