Hadoop源码分析DataNode类

DataNode类源码分析

DataNode 类存储，DFS部署所需要的blocks。一个部署需要一个或多个DataNodes。每一个DataNode和一个单独的NameNode定期的交流。DataNode同样也不时地，和客户端代码和其它的DataNodes交流。

DataNodes存储一些命名的blocks。DataNode允许客户端代码来读这些块，或者写进新的block数据。DataNode也会回应它的NameNode的命令，删除blocks，或者向其它的DataNodes copy，或者从其它的DataNodes copy。

DataNode仅仅维护一个关键的表：

block-> stream of bytes (of BLOCK_SIZE or less)

这个信息存储在一个本地磁盘上面。DataNode把表的内容报告给NameNode，报告时间是，刚启动的时候，和每隔一段时间。（即NameNode不会主动去找，而是DataNode主动提交，这样减轻了NamdNode的压力）

DataNode会不断地向NameNode索要任务。一个NameNode不能连接到一个DataNode目录，一个NameNode可以很简单地从DataNode调用的函数，返回值。

DataNode维护一个打开的server socket，因此客户端代码或者其它的DataNodes可以读写数据。这个server的host或者port会向NameNode报告，然后，server发送数据给客户端或者对此感兴趣的DataNodes。

static{

    Configuration.addDefaultResource("hdfs-default.xml");

    Configuration.addDefaultResource("hdfs-site.xml");

  }

在一开始会 加载配置文件的信息。

  long lastHeartbeat = 0; 上一次心跳时间

  long heartBeatInterval;  心跳间隔时间

DataNode(Configuration conf, 

           AbstractList<File> dataDirs) throws IOException {

    super(conf);

    datanodeObject = this;

    this.dataDirs = dataDirs;

  }

使用给定的configuration和dataDirs数组来构造一个DataNode。dataDirs是blocks存储的地方。这个构造函数不启动节点，仅仅是初始化。

 

public void shutdown() {

    closeQuietly();

  }

这个方法shutdown datanode，仅当shutdown完全时，才会返回。

protected void register() throws IOException {}

Register datanode方法，向namenode报告，接收到registrationID

checkDiskError方法

DataTransfer类 向另一个datanode传送数据

recoverBlock方法