HDFS中DataNode的目录结构

最新推荐文章于 2024-06-24 16:02:47 发布
最新推荐文章于 2024-06-24 16:02:47 发布
阅读量1k 收藏
点赞数 1
分类专栏： 入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43874875/article/details/102963453
版权
本文详细介绍了HDFS中DataNode的存储结构，包括storageID、clusterID、cTime等属性，并探讨了datanode的唯一识别码datanodeUuid和存储类型storageType。同时，提到了layoutVersion的作用。目录结构中，以Block为例，展示了块的大小、ID和存储位置。在实际的DataNode节点如node01和node03上，数据存储在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current/BP-...目录下，进一步通过blk目录查找具体的块ID。
摘要由CSDN通过智能技术生成

具体解释：
（1）storageID：存储id号
（2）clusterID集群id，全局唯一
（3）cTime属性标记了datanode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。
（4）datanodeUuid：datanode的唯一识别码
（5）storageType：存储类型
（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号

目录结构：
在这里插入图片描述
在这里插入图片描述——第一个块“Block0”, 块大小134217728（128M）,块ID：1073741853,块池ID：BP-866966434-192.168.100.129-1560531186882,存储在节点node01,node03上。
在这里插入图片描述
第二个块“Block0”, 块大小49671168(47.3M) ,块ID: 1073741854,块池ID：BP-866966434-192.168.1

最低0.47元/天 解锁文章
谪仙逍遥
关注
专栏目录
HDFS文件目录结构详解
m0_37613244的博客
11-22 6356
Namenode中主要存储fsimage和editlog文件，Datanode中主要存储数据块blk文件。下面分别介绍Namenode和Datanode中的文件存储结构。 文章目录1 Namenode1.1 文件所在位置 1 Namenode 1.1 文件所在位置 文件所在位置由hdfs-site.xml中的配置项dfs.namenode.name.dir配置。这些文件都存于${dfs.namenode.name.dir}/current文件夹下，在dfs.namenode.name.dir配置项中可以配置
HDFS:HDFS读写流程,读取过程,HDFS数据完整性,DataNode功能与目录结构,机架感知
汉子一枚
11-13 6085
DataNode作用 文件的各个 block 的具体存储管理由 datanode 节点承担。 每一个 block 都可以在多个datanode 上。 Datanode 需要定时向 Namenode 汇报自己持有的 block信息。 存储多个副本（副本数量也可以通过参数设置 dfs.replication，默认是 3）。 心跳是每3秒一次 心跳返回结果带有namenode给该datanode的命令如...
DataNode 的目录结构
weixin_48143996的博客
10-12 644
DataNode 的目录结构一次写入，多次读出 在/export/servers/hadoop2.6.0cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号 [root@node01 current]# cat VERSION #Thu Mar 14 07:58:46 CST 2019 storageID=DS-47bcc6d5-c9b7-4c88-9cc8-6154b8a2bf39 clusterID=CID-dac2e9fa-65d2-4963-a
Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 概述
张伯毅的专栏
11-02 6244
一.概述 Datanode以存储数据块（Block） 的形式保存HDFS文件， 同时Datanode还会响应HDFS客户端读、 写数据块的请求。 Datanode会周期性地向Namenode上报心跳信息、 数据块汇报信息（BlockReport） 、 缓存数据块汇报信息（CacheReport） 以及增量数据块块汇报信息。 Namenode会根据块汇报的内容， 修改Namenode的命名空间（Namespace） ， 同时向Datanode返回名字节点指令。 Datanode会响应 Namenode返回的名
Datenode的目录结构
weixin_44519468的博客
11-05 381
和namenode不同的是，datanode的存储目录是初始阶段自动创建的，不需要额外格式化。在/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current这个目录下查看版本号 （1）storageID：存储id号 （2）clusterID集群id，全局唯一 （3）cTime属性标记了datanode存储系统的创...
Hadoop 教程 - HDFS之DataNode
最新发布
qq_33240556的博客
06-24 575
DataNode在HDFS中扮演着至关重要的角色，不仅负责存储实际数据块，还通过复杂的机制确保数据的高可用性、完整性和高效访问。它是Hadoop分布式存储体系中的基石，支撑着大规模数据处理和分析任务的基础。
【HDFS基础】HDFS文件目录详解
热门推荐
白夜行
07-28 3万+
HDFS的文件目录图分析：从上图可以看出，HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成，而NameNode和DataNode之间由心跳机制通信。注： HDFS(Hadoop Distributed File System)默认的存储单位是128M的数据块。 可以执行命令vim /home/qingaolei/hadoop/hadoop-2.8.
HDFS之DataNode工作原理超全总结
落枫寒的博客
07-27 1万+
本文系统的总结了DataNode的主要知识点，包括启动流程、磁盘存储的文件结构及功能特点、如何对磁盘目录和块进行管理、流式接口的实现以及读写数据的流程等。
HDFS体系结构(NameNode、DataNode详解)
03-30
HDFS体系结构主要由两部分组成：NameNode和DataNode。 NameNode NameNode是HDFS的中心节点，负责管理文件系统的命名空间。它维护着整个文件系统的目录结构、文件权限和数据块的映射关系。NameNode是HDFS的单点故障...
DataNode内部的各种数据结构
weixin_30512089的博客
08-10 140
DateNode的功能主要分为三大类:和DFSClient的交互；和NameNode的交互；本身提供数据存储的功能。 DataNode引用了FSDataset来提供数据存储功能，FSDataset是这个存储结构的入口，对于DataNode上面所有的Block的操作都要经过FSDataset,由此管理在此DataNode上存储的block。FSDataset的类图如下： ...
各个datanode的storageID不一样，导致启动datanode不成功。
tbdp6411的专栏
04-24 3154
我们在启动hadoop各个节点时，启动namenode和datanode，这个时候如果
HDFS集群的启动(2)——DataNode节点的注册
xhh198781的专栏
11-03 4851
前面我已经就HDFS集群的启动问题在整体上进行了阐述，而在本文，我将主要针对DataNode节点在启动的过程中会首先向NameNode节点进行注册这一细节进行深入的讨论。     先来简单的讲一讲DataNode节点向NameNode节点进行注册的目的吧！DataNode节点向NameNode节点注册，一是告诉NameNode节点自己提供服务的网络地址端口，二是获取NameNode节点对自己的管
20131010配置hadoop集群遇到namespaceID、storage ID、防火墙的问题
godspeedlaile9的专栏
10-10 2858
1.  namenode和datanode的namespaceID不一致 java.io.IOException:Incompatible namespaceIDs in /root/tmp/dfs/data:namenode namespacesID=335454;datanode namespaceID=131321.... 这个问题是多次格式化namenode造成的，有两种方法可以解决；
HBase内容分享（六）：HBase面试题分享
之乎者也·的博客
01-01 1239
HBase 是一个面向列的数据库，所以在进行模型设计时，重点在于如何高效地存储和查询数据。HBase 的设计目标是尽可能地利用列存储和查询的优势，提高系统的性能和可扩展性。列族的设计：列族是 HBase 中列的集合，一个表可以包含多个列族。列族在存储和查询时具有独立的特性，因此需要根据数据的访问模式和特点来设计列族。一般来说，划分标准是根据数据访问频度，如一张表里有些列访问相对频繁，而另一些列访问很少，这时可以把这张表划分成两个列族，分开存储，提高访问效率。列的设计。
HDFS Datanode数据存储格式分析
02-13 566
首先在Datanode中，每一个block都对应一个数据存储文件，数据存储文件以_blk开头；同时，每一个block还对应一个元数据文件，元数据文件以.meta结尾（注意：meta file的命名格式如下blokcFileName_generationStamp.meta）。 首先将一下我理解的几个概念。在HDFS中有storage的概念，每一个节点对应一个storage。我们可以理解为一个
【Hadoop】DataNode 详解
康师傅没有眼泪
08-28 5727
Datanode是HDFS文件系统的工作节点，它们根据客户端或者是namenode的调度进行存储和检索数据，并且定期向namenode发送它们所存储的块(block)的列表。
HDFS Federation(HDFS 联盟)介绍
蓝色妖姬
11-28 538
HDFS Federation(HDFS 联盟)介绍 张贵宾 guibin.beijing@gmail.com 2011.11.25 1. 当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能：命名空间管理（Namespace management）和块/存储管理服务（block/storage management）。 1.1 命...
Datanode工作机制以及数据存储详解
weixin_43230682的博客
08-06 3983
目录 1. Datanode工作机制 2. 数据完整性 3. 掉线时限参数设置 4. DataNode的目录结构 5. Datanode多目录配置 HDFS分布式文件系统也是一个主从架构，主节点是我们的namenode，负责管理整个集群以及维护集群的元数据信息 从节点datanode，主要负责文件数据存储 1. Datanode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值