Hadoop 中 SequenceFile 的理解

     SequenceFile其实还是蛮简单的啦，就是一个个键值对组成的序列化文件。文件的前三个字节为文件头，包含顺序文件代码、键和值的类名称、数据压缩细节和元数据等。后面为压缩或者没有压缩的记录，夹杂了同步标识。

     SequenceFile类提供SequenceFile.Writer、SequenceFile.Reader和SequenceFile.Sorter进行文件的写、读和排序操作。基于SequenceFile.CompressionType有3种方式对文件进行压缩：

     1、Writer：不压缩

  2、RecordCompressWriter : 仅对值进行压缩；

      3、BlockCompressWriter：将键和值压缩到block中

      使用SequenceFile的createWriter方法对SequenceFile进行写操作，以前版本createWriter方法的参数一般可用createWriter(FileSystem fs, Configuration conf, Path name, Class keyClass, Class valClass)，但是看到API上面写了个Deprecated. 新版本API推荐使用createWriter(Configuration conf, org.apache.hadoop.io.SequenceFile.Writer.Option... opts) 或者

createWriter(FileContext fc, Configuration conf, Path name, Class keyClass, Class valClass, org.apache.hadoop.io.SequenceFile.CompressionType compressionType, CompressionCodec codec, org.apache.hadoop.io.SequenceFile.Metadata metadata, EnumSet<CreateFlag> createFlag, org.apache.hadoop.fs.Options.CreateOpts... opts) 。于是又查了半天，看看org.apache.hadoop.io.SequenceFile.Writer.Option是个什么东西，不说了，直接上代码吧。本代码段是读取一个SequenceFile文件，并且将文件中的key换成顺序的数字。（是不是特别无聊啊，哈哈）

import java.io.IOException;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.SequenceFile.Writer;
import org.apache.hadoop.io.SequenceFile.Reader;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.IOUtils;


public class File {
	
	public Writer WriteData(String uri) throws IOException {
		Configuration conf=new Configuration();
		Path path=new Path(uri);
		IntWritable key =new IntWritable();
		Text value=new Text();
		SequenceFile.Writer writer=null;
		SequenceFile.Writer.Option option1=SequenceFile.Writer.file(path);
		SequenceFile.Writer.Option option2=SequenceFile.Writer.keyClass(key.getClass());
		SequenceFile.Writer.Option option3=SequenceFile.Writer.valueClass(value.getClass());
		writer=SequenceFile.createWriter(conf, option1,option2,option3);
		return writer;
	}
	
	public Reader ReadData(String uri) throws IOException{
		Configuration conf=new Configuration();
		Path path=new Path(uri);
		SequenceFile.Reader reader=null;
		SequenceFile.Reader.Option option=SequenceFile.Reader.file(path);
		reader=new SequenceFile.Reader(conf, option);
		return reader;
		
	}
		  
    public static void main(String[] args) throws IOException {
    	File file=new File();
    	String readpath=args[0];
    	String writepath=args[1];
    	SequenceFile.Reader reader=file.ReadData(readpath);
    	SequenceFile.Writer writer=file.WriteData(writepath);
    	IntWritable readkey=new IntWritable();
    	Text value=new Text();
    	IntWritable writekey=new IntWritable();
    	int i=0;
    	writekey.set(i);
    	try {
    		while(reader.next(readkey,value)) {
    			writer.append(writekey, value);
    			i++;
    			writekey.set(i);
    			
    		}
    	}finally {
    		IOUtils.closeStream(reader);
    		IOUtils.closeStream(writer);
    	}
    	
    	
    }
	
}