Hadoop中输入输出处理类介绍

MapReduce输入处理类：

Filelnput Format是所有以文件作为数据源的 Inputformat实现的基类， FileinputFormat保存作为job输入的所有文件，

并实现了对输入文件计算 splits f的方法。至于获得记录的方法是由不同的子类 TextlnputFormat进行实现的。

InputFormat负责处理 Mapreduce的输人部分、主要个作用验证作业的输人是否规范，把输人文件切分成

Inputsplit，是供 Recordreader的实现类，把 Inputsplit读到 Mapper。

在执行MapReduce之前，原始数据被分成若干个split，每个split作为map任务的输入，在map执行过程中split

分解成一个个（ key－value对）。map会依次处理每个记录。FileinputFormat 只划分比 HDFS Block大的文件，

所以 Filelnputform划分的结果是这个文件或者是这个文件中的一部分。如果一个文件的大小比 Block小，

将不会被刻分，这也是 Hadoop处理大文件的效率要比处理很多小文件的效率高的原因。当 Hadoop处理

很多小文件（文件da大小小于 hdfs hlock大小的时候，由于 Filelnputfommat不会对小文件进行划分，

所以每一个小文件都会被当作一个split并分配一个mP任务，导致效率低下。

-------------------------------------------------------------------------------------------------------------------------------------------------------

除了 Filelnputformat类控制数据的输人格式还有其他常见的API类
(1)Textinputformat.
       Textinputforma是认的处理类，处理普通文本文件。文件中每一行作为一个记录，它将每一行在文件中

       的起始偏移量作为key，每一行的内容作为 value。默认以\n或回车作为一行记录。
(2) Combinefilelnputformat
      相对于大量的小文存，hadoop更适合处理少量的大文作
      Combinefilelnputformat I可以缓解这个问题，它是针对小文件而设计的。
(3)Key Valuetextlnputformat
      当输入数据的每一行是两列、并用Tab分离的形式的时侯， Key Value Textlnputfomat

       处理这种格式的文件非常适合。
（4） Nlinelnputformat。
          Nlinelnputformat可以控制在每个spli中数据的行数
 

Mapreduce输出的处理类

Outputfommal主要用于描述输出数的格式，它能够将用户提供的key/values对写入特定格式的文件中，

Hadoop自带了很多 Outpunforma的实现，所有 Mapreduce输出都实现了 Outputformat接口。我们可以把这些实现

接口类分为以下几种类型。
(1) TextoutputFormat
       默认的输出格式，key和 value中间值用ab开的。
(2)SequencefileoutputFormat
       将key和vle以 Sequencefile格式输出
3) Sequencefileasoutputfommat
    将key和 value以原始二进制的格式输出。