hdfs架构

最新推荐文章于 2024-04-24 07:29:36 发布
最新推荐文章于 2024-04-24 07:29:36 发布
阅读量94 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44729445/article/details/96199080
版权

在这里插入图片描述
NameNode（nn）名称节点

1）存储文件系统的命名空间，包括：

  • 文件名称
  • 文件目录结构
  • 文件属性（权限、创建时间、副本数）
  • 文件对应的哪些块（副本块），块对应在哪些dn节点上

nn一般不会持久化存储这个map的映射关系，一般是在集群启动和运行时，dn定期的发送blockreport给nn，那么nn就在内存中动态维护这种映射关系。

2）对于NameNode如何存储这些信息，它维护两个文件，一个是fsimage，一个是editlog。

  • fsimage保存了最新的元数据检查点，在HDFS启动时加载fsimage的信息，包含了整个HDFS文件系统的所有目录和文件的信息。
    对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。
  • editlog主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS客户端执行所有的写操作都会被记录到editlog中。

3）主要作用：管理文件系统的命名空间

DataNode（dn）数据节点
1）存储数据块和数据块校验和
与nn通信：
a.每隔3秒发一个心跳包
dfs.heartbeat.interval=3秒
b.每隔6小时发送一次blockreport块报告
dfs.blockreport.intervalMsec= 21600000ms=6小时
（生产上这两个参数不要随意调整）
2）主要作用：读写文件的数据块

SecondaryNameNode（snn）第二名称节点
作用：定期合并nn节点的fsimage+editlog为新的fsimage，推送给nn，简称检查点checkpoint。影响checkpoint的两个参数：
时间间隔：dfs.namenode.checkpoint.period=3600
操作事务数：dfs.namenode.checkpoint.txns=1000000

在这里插入图片描述NN:

edits_0000000000000000404-0000000000000000404
edits_0000000000000000405-0000000000000000406 拷贝editlog
edits_inprogress_0000000000000000407 正在写的日志 （系统正在运行）
fsimage_0000000000000000404       拷贝fsimage 
fsimage_0000000000000000404.md5
fsimage_0000000000000000406
fsimage_0000000000000000406.md5

SNN:

edits_0000000000000000208-0000000000000000403
edits_0000000000000000405-0000000000000000406
fsimage_0000000000000000404 包含了过往的所有的editlog001-404
fsimage_0000000000000000404.md5
fsimage_0000000000000000406      生成了406的fsimage镜像，并推送给nn
fsimage_0000000000000000406.md5

合并过程

  1. 滚动新的editlog文件edits_inprogress_0000000000000000407
  2. 将edits_0000000000000000405-0000000000000000406 fsimage_0000000000000000404 拷贝到snn节点
  3. 合并为新的image：fsimage_0000000000000000406
  4. 将检查点的fsimage_0000000000000000406文件推送给nn
  5. 滚动edits_inprogress_0000000000000000407 写满，就滚动到下一个editlog，比如edits_inprogress_0000000000000000408
weixin_44729445
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS架构和组成
czxylzl的博客
02-24 1317
HDFS架构和组成 Hdfs 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成NameNode， DataNode，client，和SencondayNameNode组成 NameNode(Master)： 管理 HDFS 的命名空间，维护元数据。 接收客户端的请求。 管理数据块（Block）映射信息. 配置副本策略 DataNode(Slave)： 存储实际的数据块 。 执行数据块的读/写操作。 向namenode上传心跳信息。 Client(客户端)： 1、文件上传 HDFS
Hadoop之详解HDFS架构
01-27
《详解Hadoop HDFS架构：理解分布式文件系统的核心原理》 在大数据时代，Hadoop作为开源的分布式计算框架，已经成为处理海量数据的核心工具。Hadoop的基石是其分布式文件系统——HDFS（Hadoop Distributed File ...
HDFS架构
qq_57629191的博客
05-28 1645
①HDFS概念：Hadoop Distributed File System，是Hadoop项⽬的核⼼⼦项⽬，是分布式计算中数据存储管理的基础。⽀持海量数据的存储，允许⽤户将成百上千的计算机组成存储集群，HDFS 可以运⾏在低成本的硬件上，提供⾼吞吐量、⾼容错性的数据访问，⾮常适合⼤规模数据集上的应⽤。②HDFS优缺点：HDFS优点：高容错性（多个副本且副本丢失可快速恢复）；处理大数据；高扩展性（动态扩展集群节点）；低成本运行；HDFS缺点：不适合低延时的数据访问；不适合存储大量小文件；
HDFS架构及原理
code_rui的博客
12-03 5169
HDFS架构及原理 1、HDFS架构及存储 HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间 (Namespace )及客户端对文件的访问。集群中的DataNode一般是一个节点运行一个DataNode进程，负责管理它所在节点上的存储。
HDFS架构概述
enchantedowl的博客
09-28 5004
HDFS架构概述
HDFS 架构剖析
Stars.Sky 的博客
09-05 672
HDFS 架构剖析
HDFS架构刨析
weixin_49750432的博客
08-03 902
HDFS是Hadoop distribute file system的简称，意味：Hadoop分布式文件系统HDFS是Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在HDFS解决的问题就是大数据如何存储，它是横跨在多台计算机上的文件存储系统并且具有高度的容错能力HDFS遵循主从架构namenode是主节点，负责存储和管理文件系统元数据信息，包括namespace目录结构，文件块位置信息等datanode是从节点，负责存储文件具体的数据块。
分布式文件系统HDFS架构解析
牧羊人的方向
04-06 5937
HDFS是以中间控制节点为代表的分布式存储架构，一部分节点 NameNode 是存放管理数据，另一部分节点DataNode存放业务数据。本文简要整理HDFS分布式文件系统的整体架构和关键技术，进一步了解不同分布式存储技术实现原因上的差异。
HDFS 架构
沉潜飞动
07-05 3274
Hadoop文件存储的基础是HDFS(Hadoop Distributed File System)，HDFS的实现依赖于NameNode和DataNode，DataNode用来存储具体数据，NameNode用来管理多个DataNode中分别存储的是什么。理解起来也不难，因为HDFS是分布式的文件系统，也就是有很多机器用来存储数据，一个大文件可能分布在多个机器上，也可能是一台机器上，具体分布在哪些或哪个机器上，主文件
HDFS架构简介
2401_84572945的博客
04-24 603
Secondary NameNode并不是NameNode的备份，而是用来辅助NameNode进行元数据的合并和检查点操作的。通过NameNode、DataNode和Secondary NameNode的协同工作，HDFS提供了高可靠、高容错、高可扩展的存储解决方案。Hadoop分布式文件系统（HDFS）是Hadoop生态系统中非常重要的一部分，它为大规模数据的存储和管理提供了强大的支持。分块存储：HDFS将文件切分成固定大小的数据块进行存储，这样可以方便地进行数据的复制和迁移，提高数据的可靠性和容错性。
Hadoop之HDFS架构设计
best924133514的博客
03-02 1502
Hadoop之HDFS架构设计
HDFS架构和实现机制简介
01-07
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节...
hadoop-hdfs架构
09-25
hadoop-hdfs架构
深入 Hadoop 的心脏：HDFS 架构解析与工作机制
06-21
Hadoop 的分布式文件系统（HDFS）是大数据处理的基石，它为存储大规模数据集提供了一个可靠的基础架构。HDFS 以其高吞吐量、可扩展性和容错性而著称，是 Hadoop 生态系统中不可或缺的一部分。以下是关于 HDFS 架构...
浅析HDFS架构和设计
01-27
【HDFS架构与设计浅析】 Hadoop Distributed File System（HDFS）是Hadoop生态中的核心组件，专门设计用于处理大规模数据集的分布式文件系统。HDFS的核心理念是在多台独立的计算机上分布式存储和处理大数据，以克服...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
Hadoop深度剖析：Common与HDFS架构详解
《Hadoop技术内幕：深入解析Hadoop+Common和HDFS架构设计与实现原理》是一本由蔡斌和陈湘萍编著的专业书籍，专为Hadoop开发者和从业者提供深度剖析。该书深入探讨了Hadoop技术的核心组件——Common（Hadoop公共工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值