心跳机制:
DataNode默认每3秒像NameNode汇报一次,向NameNode汇报状态信息,并且返回NameNode对DataNode的操作命令。
如果某一时刻DataNode不汇报,可能宕机。NameNode超过十分钟没有收到DataNode的心跳,则认为该节点不可用。
hadoop集群刚启动时,回进入安全模式,用到的就是心跳机制。
负载均衡:
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况。当HDFS负载均衡时,需要对HDFS进行数据的负载均衡调整,即对各节点机器上数据的存储分布进行调整。从而,让数据均匀分布再各个DataNode上,均衡IO性能,防止热点的发生。进行数据的负载均衡调整,必须满足如下原则:
● 数据平衡不能导致数据块减少,数据块备份丢失
● 管理员可以中止数据平衡进程
● 每次移动的数据量以及占用的网络资源,必须是可控的
● 数据均衡过程,不能影响namenode的正常工作
安全模式:
安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。
在安全模式状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。当整个系统达到安全标准时,HDFS自动离开安全模式,30s。