hadoop的IO小知识

1、数据的完整性

    Hadoop中保证数据的完整性是通过校验和来实现。每512个字节的数据计算一个4字节的校验和，存储开销小于1%。写入数据时将读入的数据的校验和和客户端传入数据的校验和比较，同样读取数据时也要比较，以此来保证数据的完整性。

2、压缩

压缩是为了节省空间和传输时间，基本上压缩效率高的算法压缩时间长，压缩快的算法效率不高。

3、序列化

Writable，因为所用的数据类型（int，double，或者对象）等都需要在不同节点中传输，必须要转换成流，所以要对这些数据进行序列化。writable就是序列化的接口。Avro是包容了其他语言的序列化接口。

4、SequenceFile和MapFile

SequenceFile是一种高层次的容器，以键值对的形式存放二进制数据，可以用于包装小文件。MapFile就是将key排序过后的SequenceFile，有索引，可以快速查询。用get方法可以得到指定key的文件。