Datanode工作机制以及数据存储详解

最新推荐文章于 2024-05-12 21:07:27 发布
最新推荐文章于 2024-05-12 21:07:27 发布
阅读量3.7k 收藏 4
点赞数 1
分类专栏： Hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43230682/article/details/107835976
版权
目录1. Datanode工作机制2. 数据完整性3. 掉线时限参数设置4. DataNode的目录结构5. Datanode多目录配置HDFS分布式文件系统也是一个主从架构，主节点是我们的namenode，负责管理整个集群以及维护集群的元数据信息从节点datanode，主要负责文件数据存储1. Datanode工作机制1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
摘要由CSDN通过智能技术生成

目录

1. Datanode工作机制

2. 数据完整性

3. 掉线时限参数设置

4. DataNode的目录结构

5. Datanode多目录配置

HDFS分布式文件系统也是一个主从架构，主节点是我们的namenode，负责管理整个集群以及维护集群的元数据信息

从节点datanode，主要负责文件数据存储

1. Datanode工作机制

1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向namenode注册，通过后，周期性（6小时）的向namenode上报所有的块信息。

3）

最低0.47元/天 解锁文章
皮哥四月红
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DateNode多目录配置
weixin_44216665的博客
08-18 936
DateNode多目录配置配置步骤
hadoop关于dfs.datanode.data.dir下多个目录不均衡问题
milyhj123的博客
09-15 9251
hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： <property> <name>dfs.datanode.data.dir</name> <value>/var/local/dfs-data,/usr/local/hadoop/dfs-data</v...
HDFS体系结构(NameNode、DataNode详解)
03-30
HDFS体系结构(NameNode、DataNode详解)
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结_datanode balance(2)
最新发布
2401_84586524的博客
05-12 257
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以。
DataNode工作原理
qq_41982570的博客
03-05 126
DataNode工作原理
HDFS容量的调整
guoxy_nb的专栏
03-17 6312
 在Hadoop中，数据文件放在HDFS上，每个DataNode的的数据文件存放的位置通过DataNode的hdfs-site.xml的属性dfs.data.dir设定，因此该属性指定的目录的空间容量决定了每个DataNode的容量，从而决定了HDFS的总容量。 在CentOS，IDH(Intel Distributtion Hadoop)默认情况下设定的dfs.data.di
DataNode工作机制
weixin_47260194的博客
03-05 838
1.DataNode启动后会向NameNode注册。（将自己所保存的Block信息告诉NameNode） 2.NameNode接收到DataNode发送的信息，注册成功 3.在默认配置中，DataNode会周期性（6小时）上报所有块信息 4.DataNode会每三秒心跳一次，目的是告诉NameNode，它还活着 5.当NameNode超过十分钟+30秒没有收到DataNode的心跳，则认为该节点不可用，那么后续NameNode不会再向该节点进行读写操作 ...
HDFS学习四：DataNode的工作机制
qq_35515283的博客
01-05 1201
1. DataNode的工作机制 （1）一个数据块在DataNote上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 （3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
图文详解HDFS工作机制.docx
11-14
HDFS 工作机制详解 HDFS（Hadoop Distributed File System）是分布式文件系统，它是谷歌的 GFS 提出后消灭的一种用户级文件系统，供应了一个高度容错和高吞吐量的海量数据存储处理方案。HDFS 是 Hadoop 生态的核心...
Hadoop之hdfs架构详解共2页.pdf.zip
10-28
【描述】"Hadoop之hdfs架构详解共2页.pdf.zip" 暗示文档内容可能简洁而精炼，聚焦在HDFS的架构上，包括但不限于NameNode、DataNode、Secondary NameNode等关键组件的功能与交互，以及HDFS如何实现数据的高可用性和...
第03节：hadoop精讲之hdfs详解.rar
08-16
在IT行业中，Hadoop是一个广泛使用的开源框架，主要用于大数据处理和分析。...通过学习“第03节：hadoop精讲之hdfs详解.pdf”这份资料，你将能深入了解HDFS的工作机制，提升在大数据领域的专业素养。
【大数据基础】Datanode
Penn的博客
07-18 247
Datanode 的实现 1. 数据块存储 1.1 数据节点的磁盘目录文件结构 ${dfs.data.dir} 数据目录 blocksBeingWritten 正在写的数据块，由客户端发起 current 已经写入的数据块 detach 配合升级的临时路径 tmp 数据块复制引发的，保存正在写的数据块 ${dfs.data.dir}/current HDFS数据块 met...
黑猴子的家：DataNode数据完整性
黑猴子的博客
09-25 164
1、当DataNode读取block的时候，它会计算checksum。 2、如果计算后的checksum，与block创建时值不一样，说明block已经损坏。 3、client读取其他DataNode上的block。 4、datanode在其文件创建后周期验证checksum。 ...
DataNode 工作机制
Da.的博客
05-14 4464
1 DataNode 工作机制 1 一个数据块在 datanode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2 DataNode 启动后向 namenode 注册， 通过后，周期性（1 小时） 的向 namenode 上报所有的块信息。 3 心跳是每 3 秒一次，心跳返回结果带有 namenode 给该 d...
Hadoop（八）——hadoop之DataNode工作机制
chouniti9651的博客
06-26 194
一、DataNode工作机制 (1)一个数据块在datanode上以文件形式存储在磁盘上，这个数据块包括两个文件，其中一个是数据本身，另外一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 (2)DataNode启动后向namenode注册，通过后，周期性（1小时）的向nameno...
HDFS学习笔记【Datanode/结构和存储】
油纸雨伞的博客
03-27 261
HDFS2.x DataNode学习笔记。
2021-12-05 datanode存储相关（一）：storage管理
cn987654的博客
12-05 2377
基于源码hadoop-3.3.0 1 概述 众所周知，dn主要是用来存储hadoop集群中的具体的数据的。但实际上，Datanode还是需要保存一部分Datanode自身的元数据的， 这些元数据是通过Datanode磁盘存储上的一些文件和目录来保存的。 Datanode可以定义多个存储目录保存数据块，Datanode的多个存储目录存储的数据块并不相同，并且不同的存储目录可以是异构的， 这样的设计可以提高数据块IO的吞吐率[比如多块磁盘]。 1.1 实际存储 下面看一个实际中的存储： 我们
Hadoop参数：dfs.name.dir 与 dfs.data.dir
热门推荐
lxpbs8851的专栏
08-05 1万+
dfs.name.dir Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in a
5-分布式文件系统HDFS .ppt
06-22
本资料主要探讨了HDFS作为主从结构的分布式文件系统，其在数据冗余、容错机制和优化性能上的设计，以及HDFS在处理大数据集时的优势和限制。" 分布式文件系统HDFS是一种基于主从结构的系统，由名称节点（NameNode）...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值