HDFS DataNode工作机制

最新推荐文章于 2024-10-16 10:56:54 发布

大大大大大大。@

最新推荐文章于 2024-10-16 10:56:54 发布

阅读量211

点赞数

分类专栏： HDFS 文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/weixin_43742704/article/details/126953900

版权

HDFS 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

DataNode工作机制

数据块以文件的形式存储在磁盘上，包括两个文件：1.数据本身2.元数据（数据块长度，时间戳，块数据校验和等）
dataNode工作机制

1.NameNode和DataNode一启动，dN就会向NN注册
2.每周期（6小时）向NN上报所有块信息
3.心跳检测 每3秒一次，心跳返回结果 带有NameNode给该DataNode的命令（如复制块数据到另一台机器，或删除某个数据块）。
4.如果超过10分钟+30秒没有收到某个DataNode的心跳，则认为该节点不可用

dataNode掉线时限参数设置

	当dataNode10分+30秒没有应答nameNode ,NN则认为dataNode挂掉。
	超时时长设置公式为：
	TimeOut=2*dfs.namenode.heartbeat.recheck-interval+10*dfs.heartbeat.interval
	
	dfs.namenode.heartbeat.recheck-interval默认大小为5分钟
	dfs.heartbeat.interval默认为3秒