![](https://img-blog.csdnimg.cn/20200212142624528.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
读写
文章平均质量分 99
HDFS读写
王小禾
武汉理工大学
展开
-
1. HDFS CLIENT WRITE调试篇
使用测试集群使用FsShell断点 @Test public void testWrite() throws Exception{ FsShell shell = new FsShell(); Configuration conf = new Configuration(); conf.set("fs.defaultFS","hdfs...原创 2019-12-19 16:48:05 · 1389 阅读 · 1 评论 -
2. HDFS CLINT WRITE整理版
1.概述通过fsShell或api在客户端断点调试,可以知道写文件入口DistributedFileSystem.create()。 "main@1"prio=5tid=0x1nid=NA runnable java.lang.Thread.State: RUNNABLE at org.apache.hadoop.hdfs.DFSOutputStre...原创 2020-02-23 15:56:52 · 362 阅读 · 0 评论 -
HDFS Client Read流程分析
hadoop客户端读数据流程分析原创 2019-08-14 16:11:28 · 1703 阅读 · 0 评论 -
HDFS Client Read流程分析[hadoop3.2与2.7.2对比]
说明hadoop2.7.2的Read流程见:HDFS Client Read流程分析直接将2.7.2的版本换成3.2.0,可能会报No FileSystem for scheme "hdfs" ,原因是需要加入hdfs相关的3个依赖:<dependency> <groupId>org.apache.hadoop</groupId> <...原创 2019-11-11 10:23:57 · 320 阅读 · 0 评论 -
HDFS Client Read流程分析【链接及图解】
1.推荐博客:HDFS read解析(一)之Open文件流HDFS read解析2之从文件流中read打开文件读操作打开文件当客户端读取一个HDFS文件时,首先会调用DistributedFileSystem.open()方法打开这个文件,open方法首先会调用DFSCklient.open()方法创建HDFS文件对应的DFSInputStream输入流对象,然后构建一个...原创 2019-11-12 20:27:29 · 490 阅读 · 0 评论 -
Packet、chunk和如何构建的
HDFS packet、chunk原创 2019-12-19 20:10:40 · 341 阅读 · 0 评论 -
3. EC HDFS WRITE调试篇
普通文件流使用的是DFSOutputStream,EC文件使用的流式DFSStripedOutputStream:public class DFSStripedOutputStream extends DFSOutputStream implements StreamCapabilities {...}在FSOutputSummer构造器中加断点,得到调用栈:"main@1" pr...原创 2019-12-20 21:46:42 · 579 阅读 · 0 评论 -
dn
1.接口1.DataTransferProtocolreadBlock :从dn读块writeBlock:将dn块写入管道pipelineblockChekcum:获得指定块的校验值2.Sender和Receiverclass DataXceiver extends Receiver implements Runnablepublic abstract class Receive...原创 2019-12-26 18:06:56 · 335 阅读 · 0 评论