HDFS 对写入的数据计算校验和
datanode 管线的最后一个datanode 负责验证校验和
客户端在读取datanode的时候也会验证校验和
Hadoop的LocalFilesystem执行客户端校验和验证
LocalFileSystem通过ChecksumFileSystem来完成自己的任务
FileSystem rawFs =...
FileSystem checksummedFs = new ChecksumFileSystem(rawFs);
压缩 解压缩 在Hadoop中 一个compressionCodec接口的实现代表一个codec codec实现一种压缩-解压缩算法
序列化是将结构化对像转化为字节流,以便在网络上传输或者写到磁盘进行永久性存储,反序列化是指将字节流装回结构化对象的逆过程。序列化在分布式数据处理的进程通信和永久存储中用到。
Hadoop的序列化格式是Writable,它格式紧凑,速度快。
Writable接口定义了两个方法,一个将其状态写到DataOutput二进制流,另一个从DataInput二进制流读取其状态:
package org.apache.hadoop.io
import java.io.DataOutput
import java.io.DataInput
import java.io.IOException
public interface Writable{
void write(DataOutput out) throws IOException;
void readFields(DataInput in) throws IOException;
}