Hadoop的文件系统介绍

最新推荐文章于 2024-04-17 13:21:35 发布

大数据面试指南

最新推荐文章于 2024-04-17 13:21:35 发布

阅读量4.4k

点赞数 5

分类专栏： hadoop 大数据文章标签： HDFS 基础入门 Hadoop

本文链接：https://blog.csdn.net/czxylzl/article/details/102904470

版权

本文详细介绍了Hadoop的HDFS，包括其文件系统组成、分块存储、副本机制、名字空间和NameNode功能。HDFS采用Master-Slave结构，其中NameNode管理元数据，DataNode存储数据块，并通过副本机制保证数据容错和可用性。文章还讨论了块缓存、机架感知等关键特性。

摘要由CSDN通过智能技术生成

Hadoop组成

Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统，对海量数据的存储。
Hadoop MapReduce：一个分布式的资源调度和离线并行计算框架。
Hadoop Yarn：基于HDFS,用于作业调度和集群资源管理的框架。
Hadoop Common：Hadoop工具包，支持其他模块的工具模块（Configuration、RPC、序列化机制、日志操作）

在这里插入图片描述

Hadoop的文件系统介绍

HDFS 基本介绍
目标：掌握什么是HDFS，HDFS的使用场景，组成部分。
HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。

在这里插入图片描述

HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个 Namenode 和一定数目的Datanode 组成。Namenode 是 HDFS 集群主节点，Datanode 是 HDFS 集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

在这里插入图片描述
NameNode（Master）管理者 - 只负责管理，管理集群内各个节点。
SecondaryNameNode 辅助管理 – 只负责辅助NameNode管理工作。
DataNode(Slave) 工作者，是负责工作，周期向NameNode汇报，进行读写数据。
1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。
2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。
3）Da