大数据基础:HDFS(分布式文件系统)中,NameNode与DataNode的区别

大数据基础:HDFS(分布式文件系统)中,NameNode与DataNode的区别

概述

1、hsfs集群有两类节点(管理节点-工作节点)的运行模式,即一个namenode与多个datanode。
2、客户端(client)代表用户通过与namenode和datanode交互来访问整个系统,客户端提供一个类似于posix(可以移植操作系统界面)的文件系统接口,因此用户不需要知道datanode与namenode也可以实现其功能。

DataNode

datanode是文件系统的工作节点,它根据需求储存或者检索数据块(受客户端与namenode调度),并定期向namenode发送datanode储存的数据块列表(心跳信息)。负责为客户端提供读写服务。

NameNode

namenode负责储存文件的元数据.(文件分块信息,储存节点信息,副本储存等信息)。

1.namenode管理文件系统的命名空间,它维护者文件系统树及整棵树所有的文件和目录,这些信息以两个文件形式永久保存在本地磁盘(命名空间经镜像文件和编辑日志文件),镜像文件为:fsimage(用于维护hdfs中所有文件和文件夹的元数据),edits:编辑日志文件(用于记录所有针对文件的创建,删除,修改等操作)

2.namenode也记录着每个文件中各个快的数据节点信息,但它并不永久保存数据节点的位置信息,因为这些信息在系统启动时根据数据节点信息重建。

3.namenode会定时接受datanode的心跳信息,如果发现datanode节点有故障,就会重新为失败的任务分配节点。

4.负责接收client(客户端)的请求,提供metadata数据信息。

5。namenode的启动:以只读方式启动,加载fsimage文件到内存,edits文件会定期合并,形成新的fsimage文件用来替代旧的fsimage文件。

6.没有namenode,文件系统无法使用,如果namenode服务器宕机,文件系统上的所有文件将丢失,因为我们不知道如何根据datanode快重新拼接文件。

  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
搭建一套Hadoop HDFS分布式文件系统涉及以下步骤: 1. 安装Java:Hadoop是用Java编写的,因此首先需要在所有节点上安装Java运行环境。 2. 下载Hadoop:从Apache Hadoop官网(https://hadoop.apache.org/)下载所需版本的Hadoop软件包。 3. 配置Hadoop集群:编辑Hadoop配置文件,包括core-site.xml、hdfs-site.xml和mapred-site.xml。这些文件定义了Hadoop集群的各种参数,如文件系统的URI、数据存储路径、副本数量、作业调度器等。 4. 配置SSH免密码登录:为了方便管理和操作Hadoop集群,需要配置节点间的SSH免密码登录。这可以通过生成SSH密钥对,并将公钥分发到所有节点上来实现。 5. 配置主节点(NameNode):选择一个节点作为主节点,配置core-site.xml和hdfs-site.xml文件,指定NameNode的地址、数据存储路径等信息。 6. 配置从节点(DataNode):在所有从节点上配置core-site.xml和hdfs-site.xml文件,指定DataNode的地址、数据存储路径等信息。 7. 格式化文件系统:在主节点上执行`hdfs namenode -format`命令,初始化文件系统的元数据。 8. 启动Hadoop集群:在主节点上执行`start-all.sh`脚本或分别启动各个组件的命令,启动Hadoop集群。 9. 验证HDFS:使用Hadoop提供的命令行工具,如`hadoop fs -ls /`来验证HDFS是否正常工作。可以上传、下载和删除文件来测试文件系统的功能。 以上是搭建Hadoop HDFS分布式文件系统的基本步骤。在实际部署过程,还需要注意网络配置、防火墙设置、节点管理等方面的细节。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HanZee

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值