HDFS心跳机制、负载均衡、安全模式

心跳机制:

DataNode默认每3秒像NameNode汇报一次,向NameNode汇报状态信息,并且返回NameNode对DataNode的操作命令。
如果某一时刻DataNode不汇报,可能宕机。NameNode超过十分钟没有收到DataNode的心跳,则认为该节点不可用。
hadoop集群刚启动时,回进入安全模式,用到的就是心跳机制。

负载均衡:

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况。当HDFS负载均衡时,需要对HDFS进行数据的负载均衡调整,即对各节点机器上数据的存储分布进行调整。从而,让数据均匀分布再各个DataNode上,均衡IO性能,防止热点的发生。进行数据的负载均衡调整,必须满足如下原则:
● 数据平衡不能导致数据块减少,数据块备份丢失
● 管理员可以中止数据平衡进程
● 每次移动的数据量以及占用的网络资源,必须是可控的
● 数据均衡过程,不能影响namenode的正常工作

安全模式:

安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。
在安全模式状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。当整个系统达到安全标准时,HDFS自动离开安全模式,30s。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值