hadoop源码
bo_Wen_h
这个作者很懒,什么都没留下…
展开
-
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DFSck
DFSCheck 也是个命令行工具类,提供DFS卷的基本检查,以检查是否存在错误直接看代码吧public class DFSck extends ToolBase { private static final Log LOG = LogFactory.getLog(DFSck.class.getName()); DFSck() {} /** * Filesyste...原创 2020-02-25 11:47:12 · 178 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs Tool ToolBase FsShell
接下来会是几个类的学习首先是org.apache.hadoop.util.Tool接口ToolBase类实现了 Tool接口FsShell 继承了ToolBase类/*** A tool interface that support generic options handling** @author hairong**/// 一个支持通用选项...原创 2020-02-25 11:43:09 · 176 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DataStorage
class DataStoragepublic static final String STORAGE_INFO_FILE_NAME = "storage"; public static final Log LOG = LogFactory.getLog("org.apache.hadoop.dfs.DataStorage"); // persistent fields // 持...原创 2020-02-25 11:13:08 · 120 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DatanodeRegistration
class DatanodeRegistration extends DatanodeID implements Writable// 继承了DatanodeID(主要是主机名端口号和在集群中唯一的ID) 实现了Writable接口// 也是上来先在工厂里注册一下,以后通过工厂可以直接注册对象static { ...原创 2020-02-25 10:48:09 · 155 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DatanodeDescriptor
// 继承了DatanodeInfo类(包含datanode的基本信息和流操作)public class DatanodeDescriptor extends DatanodeInfo// 将存储的块对象放置在TreeSet中,查找时有较好的效率,同时线程安全,在之前的版本中不知道是否已经有了TreeMap类// 估计应该是存在的,我再去考证一下,所有有可能是因为线程安全问题使用...原创 2020-02-25 10:34:21 · 144 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DatanodeProtocol (接口)
interface DatanodeProtocol extends VersionedProtocol*********************************************************************** Protocol that a DFS datanode uses to communicate with the NameNode.* I...原创 2020-02-25 09:13:32 · 118 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DatanodeInfo
DatanodeInfo (Datanode节点信息)// DatanodeInfo 继承了DatanodeID(上一篇文章) 实现了org.apache.hadoop.net.Node接口// 该接口定义了getNetworkLocation()方法,用于不同机架不同数据中心的基础条件下,网络地址的获取public class DatanodeInfo extends Dat...原创 2020-02-25 09:03:59 · 244 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DatanodeID
* DatanodeID is composed of the data node* name (hostname:portNumber) and the data storage ID,* which it currently represents.(DataNodeId 由 主机名+端口号和数据存储ID来代表)// 实现了org.apache.hadoop.io.W...原创 2020-02-25 08:46:16 · 135 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs Block
今天来学习dfs包中的Block类* A Block is a Hadoop FS primitive, identified by a* long.class Block implements Writable, ComparableBlock类实现了Writable接口和Comparable接口static { ...原创 2020-02-25 08:34:09 · 124 阅读 · 0 评论 -
hadoop(0.1.1.2)源码学习-org.apache.hadoop.dfs DataNode
今天正式开始hadoop源码学习,此前chang'shi尝试过hadoop3源码阅读,无奈发展到3,源码已过于复杂,难以看懂,于是尝试haddop0.1.1.2源码学习,发现虽然时隔jiu'y久远,设计思想上还是一脉相承。今天来看DataNode类DataNode 类实现了 FSConstants(FS常数)和Runnable接口,FSConstants来自于同一包下。FSConstan...原创 2020-02-24 21:28:00 · 321 阅读 · 0 评论