HDFS写入文件的重要概念

               

HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。

在写入一个block的时候，数据传输的基本单位是packet，每个packet由若干个chunk组成。

 

HDFS客户端写文件示例代码

FileSystem hdfs = FileSystem.get(new Configuration());Path path = new Path("/testfile");// writingFSDataOutputStream dos = hdfs.create(path);byte[] readBuf = "Hello World".getBytes("UTF-8");dos.write(readBuf, 0, readBuf.length);dos.close();hdfs.close();

 

文件的打开

上传一个文件到hdfs，一般会调用DistributedFileSystem.create，其实现如下：

public FSDataOutputStream create(Path f, FsPermission permission,boolean overwrite,int bufferSize, short replication, long blockSize,Progressable progress) throws IOException {    return new FSDataOutputStream       (dfs.create(getPathName(f), permission,overwrite, replication, blockSize, progress, bufferSize),        statistics);}

其最终生成一个FSDataOutputStream用于向新生成的文件中写入数据。其成员变量dfs的类型为DFSClient，DFSClient的create函数如下：

public OutputStream create(String src,FsPermission permission,boolean overwrite,short replication,long blockSize,Progressable progress,int buffersize) throws IOException {    checkOpen();    if (permission == null) {      permission = FsPermission.getDefault();    }    FsPermission masked = permission.applyUMask(FsPermission.getUMask(conf));    OutputStream result = new DFSOutputStream(src, masked,overwrite, replication, blockSize, progress, buffersize,        conf.getInt("io.bytes.per.checksum", 512));    leasechecker.put(src, result);    return result;}

其中构造了一个DFSOutputStream，在其构造函数中，同过RPC调用NameNode的create来创建一个文件。 
当然，构造函数中还做了一件重要的事情，就是streamer.start()，也即启动了一个pipeline，用于写数据，在写入数据的过程中，我们会仔细分析。

DFSOutputStream(String src, FsPermission masked, boolean overwrite,short replication, long blockSize, Progressable progress,