![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 82
-random-
这个作者很懒,什么都没留下…
展开
-
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(十二)
2021SC@SDUSC Hadoop源码分析(十二)——Datanode实现(4) Hadoop源码分析(九)——Datanode实现(1) Hadoop源码分析(十)——Datanode实现(2) Hadoop源码分析 (十一)——Datanode实现(3) 文章目录Hadoop源码分析(十二)——Datanode实现(4)7. FSDataset Datanode 数据集合7.1 内部类7.1.1 FSDir7.1.2 FSVolume类7.2 成员变量7.3 成员方法8. Datanode 类8.1原创 2021-12-26 03:38:01 · 205 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(十一)
2021SC@SDUSC Hadoop源码分析(十一)—— Datanode实现(3) Hadoop源码分析(九)—— Datanode实现(1) Hadoop源码分析(十)—— Datanode实现(2) 文章目录Hadoop源码分析(十一)—— Datanode实现(3)5. BlockReceiver 数据块接收器5.1 成员变量5.2 成员方法6. DataBlockScanner 数据块扫描器6.1 成员变量6.2 成员方法 5. BlockReceiver 数据块接收器 BlockReceive原创 2021-12-25 23:14:54 · 771 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(十)
2021SC@SDUSC Hadoop源码分析(十)——Datanode实现(2) Hadoop源码分析(九)——Datanode实现(1) 文章目录Hadoop源码分析(十)——Datanode实现(2)3. DatanodeInfo 类3.1 成员变量3.2 成员方法4. BlockSender 数据块发送器4.1 成员变量4.2 成员方法 3. DatanodeInfo 类 Datanodelnfo所在的包为 org.apache.hadoop.hdfs.protocol,该类继承自 Datanode原创 2021-12-25 22:19:41 · 498 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(九)
2021SC@SDUSC Hadoop源码分析(九)——Datanode实现 文章目录Hadoop源码分析(九)——Datanode实现Datanode分析1.Block数据块1.1成员变量1.2 成员方法2 DatanodeID类2.1 成员变量2.2 成员方法 Datanode分析 Hadoop 中关于 Datanode 的代码被放在了 org.apache.hadoop.hdfs.server.Datanode 中,主要的三个类是 Datanode、 FSDataSet 和 DataBlockScan原创 2021-12-25 21:37:23 · 575 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(八)
2021SC@SDUSC Hadoop源码分析(八)——NameNode实现(4) Hadoop源码分析(五)—— NameNode实现(1) Hadoop源码分析(六)—— NameNode实现(2) Hadoop源码分析(七)—— NameNode实现(3) 文章目录Hadoop源码分析(八)——NameNode实现(4)6.FSImage文件系统镜像6.1 StorageInfo类6.2 DirIterator类6.3 FSImage 具体实现6.3.1 枚举类6.3.1.1NameNodeFile6原创 2021-12-25 17:35:25 · 510 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(七)
2021SC@SDUSC Hadoop源码分析(七)—— NameNode实现(3) Hadoop源码分析(六)—— NameNode实现(1) Hadoop源码分析(六)—— NameNode实现(2) 文章目录Hadoop源码分析(七)—— NameNode实现(3)5. FSEditLog 文件系统的编辑日志5.1 内部类① EditLogFileOutputStream② EditLogFilelnputStream③BlockTwo④Transactionld5.2 成员变量5.3 成员方法 5.原创 2021-12-08 14:12:10 · 1423 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(六)
2021SC@SDUSC Hadoop源码分析(六)—— NameNode实现(2) Hadoop源码分析(五)——NameNode实现(1) 文章目录Hadoop源码分析(六)—— NameNode实现(2)3. INodeFile 文件3.1 成员变量3.2 成员方法4. FSDirectory 文件系统目录4.1 成员变量4.2 成员方法 3. INodeFile 文件 INodeFile 所在的包为 org.apache.hadoop.hdfs.server.namenode,该类与目录 fNode原创 2021-12-07 23:05:37 · 979 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(五)
2021SC@SDUSC Hadoop源码分析(五)——NameNode实现 文章目录Hadoop源码分析(五)——NameNode实现NameNode功能1. INode抽象类1.1 成员变量1.2 内部类1.3 成员方法2. INodeDirectory 目录2.1 成员变量2.2 成员方法 NameNode功能 一个HDFS集群中只有一个NameNode,它的主要作用就是负责管理HDFS文件系统,具体包括 namespace命名空间的管理即文件系统的目录结构的管理,数据Block的管理(包括filen原创 2021-12-07 22:05:02 · 255 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(四)
2021SC@SDUSC Hadoop源码分析(四)——DFSClient HDFS客户端(2) 文章目录Hadoop源码分析(四)——DFSClient HDFS客户端(2)3.成员变量4.构造方法 上篇博客分析了DFSClient内部类,本篇,我们来分析DFSOutputStream中的成员变量和成员方法。 DFSClient HDFSk客户端源码1 3.成员变量 private Socket s; //与目标DataNode所建立起来的Socket连接。 boolean closed = false;原创 2021-12-06 23:56:35 · 856 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(三)
2021SC@SDUSC Hadoop源码分析(三)——DFSClient HDFS客户端 1.DFSClient HDFS客户端 DFSClient 所在的包为 org.apache.hadoop.hdfs ,它是分布式文件系统 HDFS 的客户端。 DFSClient 可以连接到 Hadoop 的文件系统,然后执行基本的文件操作。它使用 ClientProtocol 协议通过 RPC 机制和 NameNode 进行通信并获得文件的元数据信息,然后连接到 DataNode 并通过 DFSOutputStr原创 2021-12-06 22:30:50 · 437 阅读 · 0 评论 -
2021年山东大学软件工程应用与实践项目——Hadoop源码分析(二)
2021SC@SDUSC Hadoop源码分析(二)——HDFS架构和分布式文件系统 4.DistributedFileSystem分布式文件系统 文章目录Hadoop源码分析(二)——HDFS架构和分布式文件系统4.DistributedFileSystem分布式文件系统4.3 成员方法 4.3 成员方法 public void initialize (URI uri, Configuration conf) throws IOException{ super.initialize(uri, conf);原创 2021-12-03 21:28:59 · 102 阅读 · 0 评论 -
2021山东大学软件工程应用与实践项目实践——Hadoop源码分析(一)
2021SC@SDUSC原创 2021-10-10 23:36:05 · 174 阅读 · 0 评论 -
2021山东大学软件工程应用与实践项目——Hadoop源码分析
2021SC@SDUSC Hadoop源码分析(一)——源码下载及分工 文章目录Hadoop源码分析(一)——源码下载及分工前言一、Hadoop是什么?二、HDFS三、MapReduce四、源码下载及环境1、源码下载2、Linux环境五、分工 前言 2021年山东大学软件工程应用与实践选题Hadoop,作为大数据专业,了解掌握Hadoop感觉是必不可少的,所以借这个机会,选择了分析Hadoop源码这一项目,希望有所搜获,在此记录。 一、Hadoop是什么? Hadoop是一个由Apache基金会所开原创 2021-09-30 18:02:59 · 252 阅读 · 0 评论