datanode和namenode几种重要jps进程的简单介绍

1,Namenode和SecondaryNameNode:
NameNode简称NN,SecondaryNameNode简称SNN,
(1)NN是名字节点,是HDFS的主从架构的主的扮演者,相当于HDFS的大脑,维护整个文件系统的目录树,以及目录树的所有文件和目录,他们以两种文件存储在本地文件
如何查看NN先进入你配置文件中存放name的路径,
在这里插入图片描述
FSImage和edit log:
FSImage称为命名空间镜像也叫文件系统的镜像(File System Image)既是HDFS元数据的完整快照,查看FISmage命令如下:
在这里插入图片描述
edit log被称为命名空间镜像的编辑日志,这两种文件都是动态存在的,每次DataNode启动就会重新加载。查看edit log 命令如下:
在这里插入图片描述
所以NN是什么:
a)文件的名称
b)文件的结构和权限
c)文件的属性(创建时间和副本数)
d)文件对应的那些数据块,DN定期发送block report给NN(动态化过程)
NN的作用:
a)管理文件系统的命名空间
b)维护文件系统树,以俩种文件永久保存。
(2)SNN被称为第二名字节点,用于定期合并命名空间镜像(FSImage)和命名空间镜像的编辑日志(edit log)的辅助日志的辅助进程。
举个例子:
fsimage:镜像文件,文件系统树,全量 时间12:00
editlog:操作日志,读写的操作记录,增量 时间 12:00-12:30.
12:30时候, 12:00的fsimage+12:00-12:30的(editlog)合并成一个新的fsimage
12:30:生成fsimage
其实SNN并不是当NN出现故障时,自动更新为新的NN,这种想法是错误的。
2,DataNode:
DataNode简称为DN,也被称为数据节点,是HDFS的主从架构的从的扮演者,存放的HDFS文件的块(本地存放目录存放目录是$(dfs.data.dir)/current),块的文件名为blk_blkID。
DN可以以NN进行通信:netty
a)每隔3秒发送一个心跳包
b)每隔10秒发送用过block Report
如何查看DN,先进入配置文件的data的路径:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值