基于文件的数据结构

(1)sequenceFile

                            适合日志文件，每条日志记录是一行文本。 sequenceFile提供了二进制键/值对的永久存储的数据结构，也可以作为小文件容器，HDFS和MapReduce是作为大文件进行优化的,所以sequenceFile类将小文件包装起来，获得更高效率的存储和处理。

        SequenceFile文件并不保证其存储的key-value数据是按照key的某个顺序存储的，  每一个key-value被看做是一条记录(Record)，因此基于Record的压缩策略，SequenceFile文件可支持三种压缩类型(SequenceFile.CompressionType):

      NONE: 对records不进行压缩;

     RECORD: 仅压缩每一个record中的value值;

     BLOCK: 将一个block中的所有records压缩在一起;

那么，基于这三种压缩类型，Hadoop提供了对应的三种类型的Writer:

     SequenceFile.Writer  写入时不压缩任何的key-value对(Record)

    SequenceFile.RecordCompressWriter写入时只压缩key-value对(Record)中的value;

    SequenceFile.BlockCompressWriter 写入时将一批key-value对(Record)压缩成一个Block;

注：每个block的大小是可通过io.seqfile.compress.blocksize属性来指定的

示例：SequenceFile读/写 操作

[java]

1. Configuration conf=new Configuration();  
2. FileSystem fs=FileSystem.get(conf);  
3. Path seqFile=new Path("seqFile.seq");  
4. //Reader内部类用于文件的读取操作   
5. SequenceFile.Reader reader=new SequenceFile.Reader(fs,seqFile,conf);  
6. //Writer内部类用于文件的写操作,假设Key和Value都为Text类型   
7. SequenceFile.Writer writer=new SequenceFile.Writer(fs,conf,seqFile,Text.class,Text.class);  
8. //通过writer向文档中写入记录   
9. writer.append(new Text("key"),new Text("value"));  
10. IOUtils.closeStream(writer);//关闭write流   
11. //通过reader从文档中读取记录   
12. Text key=new Text();  
13. Text value=new Text();  
14. while(reader.next(key,value)){  
15.     System.out.println(key);  
16.     System.out.println(value);  
17. }  
18. IOUtils.closeStream(reader);//关闭read流 

(2)MapFile

                 是已经排序的sequenceFile,已经加入用户搜索键的索引，可以将MapFile视为java.util.Map的持久化形式。

             MapFile由两部分组成，分别是data和index。

             index作为文件的数据索引，主要记录了每个Record的key值，以及该Record在文件中的偏移位置。在MapFile被访问的时候,索引文件会被加载到内存，通过索引映射关系可迅速定位到指定Record所在文件位置，因此，相对SequenceFile而言，MapFile的检索效率是高效的，缺点是会消耗一部分内存来存储index数据。

需注意的是，MapFile并不会把所有Record都记录到index中去，默认情况下每隔128条记录存储一个索引映射。当然，记录间隔可人为修改，通过MapFIle.Writer的setIndexInterval()方法，或修改io.map.index.interval属性；

另外，与SequenceFile不同的是，MapFile的KeyClass一定要实现WritableComparable接口,即Key值是可比较的。

示例：MapFile读写操作

[java]

1. Configuration conf=new Configuration();  
2. FileSystem fs=FileSystem.get(conf);  
3. Path mapFile=new Path("mapFile.map");  
4. //Reader内部类用于文件的读取操作   
5. MapFile.Reader reader=new MapFile.Reader(fs,mapFile.toString(),conf);  
6. //Writer内部类用于文件的写操作,假设Key和Value都为Text类型   
7. MapFile.Writer writer=new MapFile.Writer(conf,fs,mapFile.toString(),Text.class,Text.class);  
8. //通过writer向文档中写入记录   
9. writer.append(new Text("key"),new Text("value"));  
10. IOUtils.closeStream(writer);//关闭write流   
11. //通过reader从文档中读取记录   
12. Text key=new Text();  
13. Text value=new Text();  
14. while(reader.next(key,value)){  
15.     System.out.println(key);  
16.     System.out.println(key);  
17. }  
18. IOUtils.closeStream(reader);//关闭read流  

注意：使用MapFile或SequenceFile虽然可以解决HDFS中小文件的存储问题，但也有一定局限性，如：
1.文件不支持复写操作，不能向已存在的SequenceFile(MapFile)追加存储记录
2.当write流不关闭的时候，没有办法构造read流。也就是在执行文件写操作的时候，该文件是不可读取的