DataNode启动流程

DataNode启动可以分为两个部分,创建DataNode对象和启动DataNode节点。

从DataNode.main()说起：

1、main(args)àsecureMain(args,null)，在该函数内部：

调用StringUtils.startupShutdownMessage()方法打印启动或停止参数信息;

调用createDatanode(args…)创建DataNode对象e;

若创建成功,调用e.join()加入集群。

 

2、紧接着,我们来看createDatanode方法,在该方法内部:

1)instantiateDataNode()方法,用于初始化DataNode成员变量;

2)runDatanodeDaemon()方法,以daemon方式运行DataNode。

 

3、在instantiateDataNode方法内部,主要进行了如下操作：

1）判断conf参数是否为空,为空，则创建HdfsConfiguration对象;

2）调用GenericOptionsParse解析输入参数;

3）判断输入参数是否符合创建条件,不符合,直接返回;否则,

a、获取配置文件hdfs-site.xml中dfs.datanode.data.dir参数所对应的属性信息集合;

b、调用makeInstance(…)方法。

 

4、在makeInstance方法内部,

1）创建本地文件系统localFS,根据输入参数conf;

2）创建针对dfs.datanode.data.dir.perm属性对应的信息操作权限对象FSPermission;

3）创建DataNode.DataNodeDiskChecker对象,调用checkStorageLocations(),该方法主要进行校验文件夹是否在本地文件系统中存在,若存在,则检验文件所属用户的权限,将符合条件的目录集合返回;

4）调用DistributeMetricsSystem.initialize();

5）至少有一个目录存在,且满足权限;

6）调用DataNode的构造函数,创建DataNode实例。

6、在DataNode构造函数内部

进行了一些属性信息（变量）的赋值操作;

最主要的在startDataNode方法内部

在startDataNode方法内部,

成员变量赋值及实例化对象;

registerMXBean()方法用来注册Mbean信息的;

initDataXceiver()方法实例化DataXceiverServer,该对象主要是用来接收客户端或者其他Datanode的数据接收或者发送请求;

startInfoServer()方法启动Datanode的web服务器;

pauseMonitor使用来监控JVM是否有停顿的;

initIpcServer()用来启动DataNode上的rpc服务,主要包括两个服务：ClientDatanodeProtocolPB和InterDatanodeProtocolPB;

BlockPoolManager对象的实例化,用来支撑hadoop federation特性,该对象的实例调用refreshNamenodes(conf)函数,在该函数内部：

a、首先,获取集群dfs.nameservices所对应的namenode节点的主机地址信息newAddressMap,key为dfs.nameservices对应的属性值,value为以dfs.ha.namenodes.${ dfs.nameservices}为key,值为namenode节点地址信息的map;

如：key：hdpha , value:<<n1,master-active:8020>,<n2,master-standby:8020>>

b、然后,调用doRefreshNamenodes()函数,在函数内部调用createBPOS()函数创建BPOfferService对象,进而创建BPServiceActor对象;

c、调用startAll()函数,进而调用BPOfferService对象的start()方法,调用BPServiceActor对象的start方法, BPServiceActor是一个实现Runnable接口的线程;

d、调用BPServiceActor对象的run方法,在方法内部调用connectToNNAndHandshake();

e、在方法内部,是与NameNode节点进行握手并注册的过程,

A1、首先调用DataNode对象的connectToNN()创建DatanodeProtocolClientSideTranslatorPB对象;

A2、然后调用BPServiceActor对象的retrieveNamespaceInfo函数创建NamespaceInfo对象,在对应的函数内部调用了DatanodeProtocolClientSideTranslatorPB对象的versionRequest()请求连接(RPC调用)到Namenode节点的信息,该方法返回一个NamespaceInfo对象,这个类主要包含了整个HDFS的版本信息

A3、紧接着调用BPOfferService对象的verifyAndSetNamespaceInfo(nsInfo)进行校验,主要进行数据块的初始化工作,其内部调用了DataNode的initBlockPool方法

A4、最后调用BPServiceActor对象的register()进行Datanode节点注册

关注：DatanodeRegistration这个类包含了所有NameNode用于与DataNode的通信过程中识别和确认DataNode节点的信息，DataNode通过RPC调用NameNode方法的时候，会传递这些信息。

f、上报数据块 , 在 Datanode 节点注册好以后 , 调用 BPServiceActor 对象的 offerService() 方法 , 在方法内部 ,DataNode 节点根据心跳时间间隔循环的发送心跳信息 , 上报最近接收到的数据块信息 , 上报所有的数据块信息