客户端向HDFS写入过程源码跟踪及剖析

从eclipse端向hdfs文件系统写入的测试代码如下：

private FileSystem fs;
@Before
public void iniConf() throws Exception {
    Configuration conf = new Configuration();
    fs = FileSystem.get(conf);
}
@Test
public void writeFile() throws Exception{
    Path path = new Path("hdfs://master:8020/user/hello.txt");
    //数据输出流
    FSDataOutputStream dos = fs.create(path);
    dos.write("helloworld".getBytes());
    dos.close();
    System.out.println("over");
}

写入过程解析：
Client端会调用DistributedFileSystem类的create()方法，方法为FSDataOutputStream create(Path f)，
该方法会返回一个方法FSDataOutputStream create(f, true)，
而在该方法中，返回的值为：

returncreate(f,overwrite,getConf().getInt("io.file.buffer.size",4096),
            getDefaultReplication(f),getDefaultBlockSize(f))  

其中调用getConf()方法是为了加载hadoop的配置文件：core-default.xml, core-site.xml, mapred-default.xml, mapred-site.xml, yarn-default.xml, yarn-site.xml, hdfs-default.xml, hdfs-site.xml等

继续进行执行，发现调用方法： 该方法在DistributedFileSystem中被重写 DistributedFileSystem继承了FileSystem类

FSDataOutputStream create(final Path f, final FsPermission permission,
        final EnumSet<CreateFlag> cflags, final int bufferSize,
        final short replication, final long blockSize, final Progressable progress,
        final ChecksumOpt checksumOpt)

看似该方法的类型为FSDataOutputStream，但实际上该方法中返回了一个文件系统的解析器

return new FileSystemLinkResolver<FSDataOutputStream>() {
  @Override
  public FSDataOutputStream doCall(final Path p)
      throws IOException, UnresolvedLinkException {
    final DFSOutputStream dfsos = dfs.create(getPathName(p), permission,
            cflags, replication, blockSize, progress, bufferSize,
            checksumOpt);
    return dfs.createWrappedOutputStream(dfsos, statistics);
  }
  @Override
  public FSDataOutputStream next(final FileSystem fs, final Path p)
      throws IOException {
    return fs.create(p, permission, cflags, bufferSize,
        replication, blockSize, progress, checksumOpt);
  }
}.resolve(this, absF);

继续进行执行，进入FileSystemLinkResolver.class，但实际上在该类的方法public T resolve(final FileSystem filesys, final Path path)中，

// Successful call, path was fully resolved
    return in;

发现当成功进行通信时，path被完全解析，会返回一个值in，通过查看发现in的值为：

org.apache.hadoop.hdfs.client.HdfsDataOutputStream@ccd1bc3

因此实际上，调用第二个create()时，与namenode进行了通信，成功之后，会向客户端返回HdfsDataOutputStream对象，而该类继承于FSDataOutputStream。因此也不难理解DistributedFileSystem向客户端返回一个FSDataOutputStream类

接下来进行写入操作
调用FSDataOutputStream的write()方法，而在进行写入操作的时候，会被写入到buffer缓冲区中去，一旦写满了，就会调用flushBuffer()方法进行清理工作
而当清理缓存时，缓冲区数据会进行chunk，这些数据被分成一个个的数据包，并相应的会写入到内部队列中去，也就是数据队列，同时也会写入确认队列。数据包通过数据队列，通过网络间进行发送到各个datanode中去
值得注意的是，在传送的过程中会进行checkSum，对每个数据包进行计算校验和的计算，具体的发送格式为：

   *  (C is checksum data, D is payload data)
   *
   * [_________CCCCCCCCC________________DDDDDDDDDDDDDDDD___]
   *           ^        ^               ^               ^
   *           |        checksumPos     dataStart       dataPos
   *           |         位置           数据起始点      数据位置
   *           checksumStart
   *校验和

当datanode接收到数据包时，会进行校验和的计算，将结果与确认队列中的数据包去对应，如果相同，则证明传输过程中没有数据的丢失，因此在确认队列中将数据包进行删除
而数据包从数据队列中向各个datanode进行数据发送，是通过多线程的方式进行发送
当所有的数据写入完成之后，调用close()方法
至此，写入过程结束