1,Namenode和SecondaryNameNode:
NameNode简称NN,SecondaryNameNode简称SNN,
(1)NN是名字节点,是HDFS的主从架构的主的扮演者,相当于HDFS的大脑,维护整个文件系统的目录树,以及目录树的所有文件和目录,他们以两种文件存储在本地文件
如何查看NN先进入你配置文件中存放name的路径,
FSImage和edit log:
FSImage称为命名空间镜像也叫文件系统的镜像(File System Image)既是HDFS元数据的完整快照,查看FISmage命令如下:
edit log被称为命名空间镜像的编辑日志,这两种文件都是动态存在的,每次DataNode启动就会重新加载。查看edit log 命令如下:
所以NN是什么:
a)文件的名称
b)文件的结构和权限
c)文件的属性(创建时间和副本数)
d)文件对应的那些数据块,DN定期发送block report给NN(动态化过程)
NN的作用:
a)管理文件系统的命名空间
b)维护文件系统树,以俩种文件永久保存。
(2)SNN被称为第二名字节点,用于定期合并命名空间镜像(FSImage)和命名空间镜像的编辑日志(edit log)的辅助日志的辅助进程。
举个例子:
fsimage:镜像文件,文件系统树,全量 时间12:00
editlog:操作日志,读写的操作记录,增量 时间 12:00-12:30.
12:30时候, 12:00的fsimage+12:00-12:30的(editlog)合并成一个新的fsimage
12:30:生成fsimage
其实SNN并不是当NN出现故障时,自动更新为新的NN,这种想法是错误的。
2,DataNode:
DataNode简称为DN,也被称为数据节点,是HDFS的主从架构的从的扮演者,存放的HDFS文件的块(本地存放目录存放目录是$(dfs.data.dir)/current),块的文件名为blk_blkID。
DN可以以NN进行通信:netty
a)每隔3秒发送一个心跳包
b)每隔10秒发送用过block Report
如何查看DN,先进入配置文件的data的路径:
datanode和namenode几种重要jps进程的简单介绍
最新推荐文章于 2024-04-17 01:40:39 发布