hdfsI/O

数据完整性

检测数据是否损坏的常用方法，在数据第一次引入系统时计算校验，然后在数据通过一个不可靠的通道进行传输后再次进行校验；

校验和，每个数据切片后进行二进制码的补码反码的运算生成一个校验码，然后得到校验和，比较校验和；

常用的错误校验码是CRC-32(循环冗余校验)任何大小的数据输入均计算得到一个32位的证书校验和；

当然可以调用FileSystem对象的setVerifyChecksum()方法来关闭校验；

LocalFileSystem继承于ChecksumFileSystem,ChecksumFileSystem继承于FileSystem;

底层文件系统被称为源(raw 未加工的，生的)文件系统

文件的压缩和解压，切片，后面再细说；

文件序列化

对象序列化，讲对象转化为字节流，反序列化则相反；

hadoop使用自己的序列化格式Writable,紧凑，速度快，但是不容易用java以外的语言进行扩展或使用；

Writable接口

在hadoop中Writable接口定义了两个方法，一个用于讲对象转台写入二进制格式的DataInput流中，另一个是用于从二进制格式的DataInput流中读取对象状态。

package org.apache.hadoop.io;
import java.io.DataOutput;
import java.io.DataInput;
import java.io.IOException;
public interface Writable
{
    void write(DataOutput out) throws IOException;
    void readFields(DataInput in) throws IOException;
}