HDFS1.0知识点总结

本文总结了HDFS1.0的主要知识点,包括其作为Hadoop集群的分布式文件系统角色,主从架构中的NameNode、SecondaryNameNode和DataNode的功能,以及HDFS的高容错性和海量数据处理能力。同时,详细阐述了HDFS的读写流程,读流程涉及客户端从Namenode获取block位置信息并并行读取,而写流程包括客户端切分文件、Namenode分配block和datanode副本的创建。最后提到了HDFS的一些常用命令。
摘要由CSDN通过智能技术生成

HDFS1.0知识点总结

1. HDFS概述

在了解HDFS之前有必要先了解一下Hadoop,Hadoop是一个分析处理大数据,基于Java语言实现的一个开源的分布式的计算框架,用于实现海量数据的分布式计算。而HDFS则是一个Hadoop集群上到了可存储大容量数据的文件系统,为整个Hadoop生态圈提供基础的存储服务。
HDFS是一个主从(Master/Slave)体系架构的文件系统,主要有三个组件组成,分别是NameNode、SecondaryNameNode和DataNode,其作用分别为:

  • NameNode:名字节点,扮演者中心服务器的角色,管理存储和检索多个datanode的元数据。
  • SecondaryNameNode:用于保存HDFS的元数据信息,比如命名空间信息、块信息等,不是namenode的备份,用于定期获取namenode上的edit logs,并更新到fsimage上,一旦检测到有新的fsimage,它会将新的fsimage更新到namenode上。
  • DataNode:数据节点,在文件系统中中有多个,真正存储数据的地方,在namenode的统筹调度下对数据块进行创建、删除和复制等操作,为文件系统客户端提供数据块的读写服务,并通过心跳机制定期向namenode报告文件块信息。

以下为HDFS框架
在这里插入图片描述

</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值