HDFS的一些常见机制

1、HDFS的心跳机制

  Hadoop2.x包含两个主从架构（Master/Slave）HDFS和YARN，这两个其实可以看做时两个独立的架构。
其中hdfs包含NamenNode和DataNode两个守护进程
yarn包含resourcemanager和NodeManager两个守护进程

  hdfs的心跳机制指的是从节点DataNode会再一定的时间间隔向主节点NameNode发送数据包汇报自身的状态，hdfs也因此来判断DataNode是否存活。
  在hdfs的Master节点启动时同时会启动一个IPC 通信服务，等待slave节点的连接，slave启动后会每隔3秒（默认的情况下）通过这个IPC服务向Master节点连接也就是心跳，这个时间间隔可以通过dfs.heartbeat.interval 参数配置。NameNode通过心跳获取DataNode的状态，ResourceManager通过心跳获取NodeManager的状态。
在间隔一定的时间没有获取到DataNode的心跳反馈后，NameNode会判断这个DataNode宕机。
这个时间是默认10次心跳间隔+两次NameNode主动检查时间

timeout = 2 * heartbeat.recheck.interval +