hadoop基于文件的数据结构

基于文件的数据结构
两种文件格式
1）SequenceFile
SequenceFile
1、SequenceFile文件是Hadoop用来存储二进制形式的（key,value）对而设计的一种平面文件（Flat File）。
2、可以把SequenceFile当作一个容器，把所有文件打包到SequenceFile类中可以高效的对小文件进行存储和处理
3、SequenceFile文件并不按照其存储的key进行排序存储，SequenceFile的内部类Writer提供了append功能
4、SequenceFile中的key和value可以是任意类型Writable或者是自定义Writable类型

SequenceFile压缩
1、SequenceFile的内部格式取决于是否启用压缩，如果是：要么是记录压缩，要么是块压缩
2、有以下三种类型：
A、无压缩类型：如果没有启用压缩（默认设置），那么每个记录就由它的记录长度（字节数）、键的长度、键和值组成，长度字段为四字节
B、记录压缩类型：记录压缩格式与无压缩格式基本相同，不同的是值字节是用定义在头部的编码器来压缩。注意，键是不压缩的。
C、块压缩类型：块压缩一次压缩多个记录，因此它比记录压缩更紧凑，而且一般优先选择。当记录的字节数达到最小大小，才会添加到块。该最小值由io.seqfile.compress.blocksize中的属性定义。默认值是1000000字节。格式为记录数、键长度、键、值长度、值。

SequenceFile文件格式的好处：
A、支持基于记录（Record）或块（Block）的数据压缩
B、支持splittable，能够作为MapReduce的输入分片
C、修改简单：主要负责修改相应的业务逻辑，而不用考虑具体的存储格式

SequenceFile文件格式的坏处
坏处是需要一个合并文件的过程，且合并后的文件将不方便查看

读写SequenceFile
写过程
1、创建Configuration
2、获取FileSystem
3、创建文件输出路径Path
4、调用SequenceFile.createWriter得到SequenceFile.Writer对象
5、调用SequenceFile.Writer.append追加写入文件
6、关闭流
例子如下：

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.SequenceFile.CompressionType;
import org.apache.hadoop.io.compress.BZip2Codec;


public class SequenceFileWrite {

    public static String uri = "hdfs://10.13.33.218:9000" ;
    public static String[] data = {
        "one,two" ,
        "three,four" ,
        "five,six" ,
        "seven,eight" ,
        "nine,ten" 
    } ;
    public static void main(String args[])throws Exception{
        Configuration conf = new Configuration() ;
        FileSystem fs = FileSystem.get(URI.create(uri),conf) ;
//      Path path = new Path("/tmp.seq") ;
        Path path = new Path("/tmp1.seq") ;
        IntWritable key = new IntWritable() ;
        Text value = new Text() ;
        //SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf,path, key.getClass(), value.getClass()) ;
        SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf,path, key.getClass(), value.getClass(),CompressionType.RECORD,new BZip2Codec()) ;//对SequenceFile进行记录压缩
        for(int i=0;i<100;i++){
            key.set(100-i) ;
            value.set(data[i%data.length]) ;
            writer.append(key, value) ;
        }
        IOUtils.closeStream(writer) ;
    }
}

读过程
1、创建Configuration
2、获取FileSystem
3、创建文件输出路径Path
4、new一个SequenceFile.Reader进行读取
5、得到keyClass和valueClass
6、关闭流

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.util.ReflectionUtils;


public class SequenceFileRead {

    public static String uri = "hdfs://10.13.33.218:9000" ;
    public static String[] data = {
        "one,two" ,
        "three,four" ,
        "five,six" ,
        "seven,eight" ,
        "nine,ten" 
    } ;

    public static void main(String[] args) throws Exception{
        Configuration conf = new Configuration() ;
        FileSystem fs = FileSystem.get(URI.create(uri),conf) ;
        //Path path = new Path("/tmp.seq") ;
        Path path = new Path("/tmp1.seq") ;
        SequenceFile.Reader reader = new SequenceFile.Reader(fs, path, conf) ;
        Writable key = (Writable)ReflectionUtils.newInstance(reader.getKeyClass(), conf) ;
        Writable value = (Writable)ReflectionUtils.newInstance(reader.getValueClass(), conf) ;
        while(reader.next(key,value)){
            System.out.println("key = " + key ) ;
            System.out.println("value = " + value) ;
            System.out.println("position = " + reader.getPosition()) ;//同步标识的偏移量
        }

        IOUtils.closeStream(reader) ;
    }
}

2）MapFile
1、MapFile是经过排序的索引的SequenceFile，可以根据key进行查找
2、MapFile的key是WritableComparable类型的，而value是Writable类型的
3、可以使用MapFile.fix()方法来重建索引，把SequenceFile转换成MapFile
4、它有两个静态成员变量
static String DATA_FILE_NAME
static String INDEX_FILE_NAME

写过程：
1、创建Configuration
2、获取FileSystem
3、创建文件输出路径Path
4、new一个MapFile.Writer对象
5、调用MapFile.Writere.append追加写入文件
6、关闭流

读过程
1、创建Configuration
2、获取FileSystem
3、创建文件输出路径Path
4、new一个MapFile.Reader进行读取
5、得到keyClass和valueClass
6、关闭流