浅谈MapReduce编程二

 

五、输入格式InputFormat

  1、 实现了InputFormat接口的类负责输入文件的分片方式和读取。

   2、常用的InputFormat子类

TextInputFormat  :文件的每一行被记录，行的字节偏移量作为key,行的内容作为值

                  Key:LongWritable,value:Text

KeyValueTextInputFormat:文件中的每一行被记录，每行中用一个分离器进行分离，分离 器前面的为Key，分离器后面的为value,分离器可以由key.value.separator.in.input指定。默认的分离器为（\t）Key:Text   Value:Text

SequenceFileInputFormat<K,V> :可以作为Mapreduce任务中间传递。Key:用户自定义

                             Value：用户自定义

3、InputFormat接口原型

      

 public interface InputFormat<K,V>{

        InputSplit[] getSplits(JobConf job,int numSplits) throws IOException;

        RecordReader<K,V> getRecordReader(InputSplit split,

                      JobConf job,Reporter reporter)throws IOException;

        }

 

 

       InputFormat的实现类负责如下任务

           （1）确定作为输入数据的所有的输入文件，并把这些文件进行split操作。每个map任务处理一个split。

           （2）提供一个对象，对给定split中的records进行迭代操作，将每个record解析成预定义的<key,value>类型。

FileInputFormat实现了InputFormat接口，在这个类中已经实现了getSplits方法，getRecordReader方法并没有实现。将该方法的实现延迟到FileInputFormat子类去完成。

RecordReader的接口原型

       

public interface  RecordReader<K,V>{
       Boolean next(K key,V value)throws IOException;
       K createKey();
       V createValue();
       Long getPos()throws IOException;
      public void close() throws IOException;
      Float getProgress()  throws IOException;
      }

 

 

 

  Hadoop中实现的RecordReader接口的子类有：LineRecordReader、KeyValueLineRecordReader

<!--EndFragment-->