hdfs 上传文件原理如下图所示:
这里有一个非常重要的类:DFSOutputStream, 它继承 FSOuputSummer
其他比较重要的类有:FileSystem, DFSClient, 至于类之间的关系,请查看api文档
1. 校验码
采用CRC32,所以校验和位是4Bytes
2. 队列只有一个消费者线程:DataStreamer
作用详见java api
hdfs 上传文件原理如下图所示:
这里有一个非常重要的类:DFSOutputStream, 它继承 FSOuputSummer
其他比较重要的类有:FileSystem, DFSClient, 至于类之间的关系,请查看api文档
1. 校验码
采用CRC32,所以校验和位是4Bytes
2. 队列只有一个消费者线程:DataStreamer
作用详见java api