hadoop节点介绍

本文深入解析HDFS(Hadoop分布式文件系统)的架构原理,包括NameNode作为目录管理者的重要角色,DataNode负责存储数据和文件以block方式存储的细节,以及SecondaryNode如何辅助NameNode进行元数据快照和故障恢复。
摘要由CSDN通过智能技术生成

一 NameNode
目录的管理者,每一个集群都有一个,记录实时数据
如果没有nameNode ,HDFS将无法工作 ,很多文件系统将会丢失。
主要负责:
1)接受用户请求
2)维护系统的目录结构
3)管理文件与block之间的联系
2 DataNode
文件系统的工作节点 根据客户端或者是namenode调用存储调度和检索,他会定期向namenode发送存储的块的(block)的列表
集群中每个服务器都会运行一个DataNode后台程序 ,这个后台程序会把HDFS写到本地文件系统 当客户端想要读写有个数据时 先由namenode告诉去哪个datanode ,然后客户端直接与这个datanode进行通信,并且对相关的读写进行操作。

主要负责:
存储数据
文件分割以block方式存储在磁盘上

3 secondarynode
secondarynode和namenode一样 每一个集群都有一个 并部署在一个单独的服务器上 ,不同的是他不能记录实时数据,他会与namenode通信 以便定期保存HDFS元数据快照 由于namenode是单点 可以通过secondarynode的快照功能,可以将namenode的宕机和数据分析降低到最小。如果namenode发生问题 secondarynode可以作为备用namenode.

它主要将 namenode image (fsimage)和Edit log合并

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值