![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
请叫我小帅哥
小帅哥一个,有事联系我经纪人。
展开
-
hdfs源码解析之客户端写数据(二)
接着hdfs源码解析之客户端写数据(一)继续。 FSDataOutputStream fs = filesytem.create(new Path("/a.txt"),true); 这行代码主要做了两件事: ①通过rpc调用在namenode命名空间创建文件条目; ②创建该文件对应的输出流。 filesytem.create()最终调用的是DistributedFileSystem的c...原创 2019-03-05 11:24:38 · 331 阅读 · 0 评论 -
hdfs源码解析之客户端写数据(一)
终于开始了这个很感兴趣但是一直觉得困难重重的源码解析工作,也算是一个好的开端。既然开始了,就认真耐心的看下去吧。废话不多说,开始! 在我们客户端写数据的代码大致如下: Configuration conf = newConfiguration(); conf.set("fs.defaultFS","hdfs://172.16.40.119:8020"); String a = "Thi...原创 2019-03-09 14:33:31 · 572 阅读 · 0 评论 -
hdfs源码解析之客户端写数据(三)
接着hdfs源码解析之客户端写数据(二)继续。 fs.write(a.getBytes()); 上面write方法郑振调用的是FSOutputSummer.write,FSOutputSummer维护了一个本地缓冲区buf,大小初始为9*chunkSize,append文件时初始化方法不同。循环写buf.length字节数据,buf满了就开始调用writeChecksumChunks写pack...原创 2019-03-25 15:27:30 · 268 阅读 · 0 评论