HDFS_08_机架感知策略

最新推荐文章于 2024-05-07 09:48:41 发布
最新推荐文章于 2024-05-07 09:48:41 发布
阅读量2.1k 收藏 4
点赞数 3
分类专栏： HDFS 文章标签： hdfs big data hadoop 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48262902/article/details/121877124
版权

HDFS_08_机架感知策略

持续更新大数据文章…

1. 机架感知策略

1.1 什么是机架感知策略？

机架感知策略就是：数据块以及数据块副本存放在哪个 DN 上才能让集群更加安全、数据更不容易损坏的一种策略。

举个例子：如果没有机架感知策略，一个文件的数据块以及该数据块的副本可能会存储在同一个DN上，这显然是不安全的。因为有了机架感知策略的存在，一个文件的数据块以及该数据块的副本就不会存储在同一个DN上，从而保证数据的安全性

1.2 机架感知如何工作？

  • 第一个节点
    • 集群内部（优先考虑和客户端相同节点作为第一个节点）
    • 集群外部（选择资源丰富且不繁忙的节点为第一个节点）
  • 第二个节点
    • 选择和第一个节点不同机架的其他节点
  • 第三个节点
    • 与第二个节点相同机架的其他节点
  • 第N个节点
    • 与前面节点不重复的其他节点
      在这里插入图片描述

在这里插入图片描述



下期讲解 HDFS_09_HDFS数据写入流程......

火晟君
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hadoop2.7.3 自定义实现机架感知(Java版本)
04-30
博客Hadoop机架感知配置自主实现的jar包 http://blog.csdn.net/lemonZhaoTao/article/details/70991813
hadoop机架感知
02-10
Hadoop 的机架感知策略是将每个 block 副本分配到不同的机架上，以确保数据的高效和容错性。具体来说，第一个副本放在和 client 所在的 node 里，第二个副本放在与第一个节点不同的机架中的 node 中，第三个副本放在...
linux存储策略,HDFS的副本存放策略
weixin_36169900的博客
05-13 539
HDFS作为Hadoop中的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可靠性和性能的...
08-Hadoop之HDFS的机架感知策略、读写流程和Hadoop-HA的2.X的组件以及脑裂和federation的介绍
学习永不止步
06-18 879
07-Hadoop之HDFS的机架感知策略、读写流程和Hadoop-HA的2.X的组件以及脑裂的介绍
Hdfs的机架感知与副本放置策略
最新发布
sheansavage的博客
05-07 1690
Hdfs的机架感知和副本放置策略是其设计的关键组成部分,有效地提高了数据的可靠性,可用性和性能,使其成为处理大规模数据的理想选择.
HDFS的机架感知策略
weixin_43200014的博客
12-24 1618
  机架感知是一种计算不同计算节点（TT）的距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗，这里用尽量，想表达的是当一个TT申请不到本地化任务时，JT会尽量调度一个机架的任务给他，因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然，机架感知不仅仅用在MR中，同样还用在HDFS数据块备份过程中（第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN（...
MAC M1大数据0-1成神篇-21 hdfs机架感知策略
Mmmxs
05-30 190
进入主题： 节点距离 distance(/D1/R1/H1,/D1/R1/H1)=0相同的datanode distance(/D1/R1/H1,/D1/R1/H3)=2同一rack下的不同datanode distance(/D1/R1/H1,/D1/R2/H4)=4同一IDC下的不同datanode distance(/D1/R1/H1,/D2/R3/H7)=6不同IDC下的datanode 机架感知 机架感知(rack awareness)是为了保证副本在集群的安全性
HDFS 机架感知配置导致数据不均衡
分享云原生大数据技术和个人成长、职业发展相关内容
01-14 1060
HDFS 机架感知是一种逻辑上的网络架构设计，它主要是用来区分不同节点的网络拓扑情况下，保证数据是能够高性能写入和查询的一种机制，毕竟跨网络的数据读写是有网络带宽消耗的，当没有配置机架信息时，所有的机器hadoop都默认在同一个默认的机架下，名为 “/default-rack”，这种情况下，任何一台datanode机器，不管物理上是否属于同一个机架，都会被认为是在同一个机架下，此时，就很容易出现之前提到的增添机架间网络负载的情况。
HDFS可靠性策略
02-14
HDFS 具有“机架感知”能力，它能自动实现在本机架 A 上存放一个副本，然后在其它机架 B 上的随机一台机器再存放一副本，在 B 机架的另一台机器再存放一个副本。这样可以防止机架失效时数据丢失，也可以提高带宽利用...
【IT十八掌徐培成】Hadoop第04天-03.机架感知测试.zip
08-13
机架感知是指Hadoop能够识别这些数据节点所在的机架，并据此调整其数据传输策略。这样的设计目的是为了减少跨机架的数据传输，因为同机架内的通信通常比跨机架快，能有效降低网络延迟，提升整体性能。 Hadoop的...
10_尚硅谷大数据之HDFS的数据流1
08-03
本文将深入解析HDFS的数据流，特别是写数据和读数据的过程，以及相关的网络拓扑和机架感知策略。 4.1 HDFS 写数据流程 HDFS的写数据过程涉及多个步骤，确保数据的高效、可靠存储： 1. 客户端通过 Distributed ...
HDFS四大机制之机架策略
wangmate的博客
09-26 639
机架策略 --- 副本存放策略 默认副本3个 默认机架2个 多个副本的放置策略： 1）第一个副本放在客户端所在节点 目的为了防止数据块的副本上传不成功 最大程度的保证第一个副本上传成功 如果客户端不是集群中的节点 随机选择一个节点 2）第二个副本放在与第一个副本不同机架的任意节点 目的：保证数据安全 防止机架整体断电 断网 3） 副...
HDFS机架感知概念及配置实现
s37
07-23 4370
转自：魔鬼地下室 一、机架感知是什么？ 告诉 Hadoop 集群中哪台机器属于哪个机架 二、那么怎么告诉呢？ Hadoop 对机架的感知并非是自适应的，亦即，hadoop 集群分辨 某台 slave 机器是属于哪个 rack 并非是智能感知的，而是需要 hadoop 的管理者人为的告知 hadoop 哪台机器属于哪个 rack，这样在 hadoop 的 namenode 启动初始...
HDFS机架感知
Dawn的博客
03-26 2994
原文链接：https://weixiaodyanlei.xyz/archives/hdfs-ji-jia-gan-zhi Hadoop版本：2.9.2 什么是机架感知 通常大型 Hadoop 集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode 设法将数据块副本保存在不同的机架上以提高容错性。 HDFS 不能够自动判断集群中各个 DataNode 的网络状况情况，Hadoop 允许集群的管理员通过配置 net.topology.script.file.
HDFS-机架感知（rack-awareness）
amingo_ss的博客
05-09 1811
HDFS-机架感知 目录HDFS-机架感知1.机架感知的核心思想2.HDFS如何知道各个DataNode的网络拓扑情况3.机架感知核心配置（1）net.topology.impl（2）net.topology.node.switch.mapping.impl（3）net.topology.script.file.name（4）net.topology.table.file.name（5）net.topology.script.number.args4.机架感知实现方式4.1 默认配置解析4.2 自定义Jav
【基础理论】hadoop基础（一）：HDFS系统性介绍：HDFS组成架构、读写理论、机架感知、心跳策略等
hiliang521的博客
09-06 1102
> 本文对HDFS进行一个系统性的介绍，以便hdfs的理论知识一个整体性的了解，内容包括架构组成、读写理论，元数据同步、读写时机架感知策略，以及namenode与datanode成员之间的通讯逻辑等。 > 之后在工作中遇到有关其他HDFS的问题再详细、针对性地讨论。
hdfs 机架感知
weixin_49539546的博客
03-20 1534
一、背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为: 第一个block副本放在客户端所在的数据节点里（如果客户端不在集群范围内，则从整个集群中随机选择一个合适的数据节点来存放）..
大数据全栈式运维开发
11-21
本次课程让学员全面系统地学习大数据平台运维，开发的操作。课程内容涉及到大数据生态系统的各项工具，内容全面，讲解细致，助您全面掌握大数据平台运维及开发工具的作用
HDFS的副本存放策略
04-19
HDFS（Hadoop分布式文件系统）是一个用于存储和处理大规模数据的分布式文件系统。HDFS的副本存放策略是为了提高数据的可靠性和容错性。 HDFS的副本存放策略主要包括以下几个方面： 1. 副本数量：HDFS将文件划分为固定大小的数据块，并将每个数据块复制为多个副本。默认情况下，HDFS会将每个数据块复制为3个副本，可以通过配置文件进行调整。 2. 副本放置策略：HDFS采用了一种称为“机架感知”的副本放置策略。具体来说，HDFS会将每个数据块的副本放置在不同的机架上，以提高数据的容错性。例如，如果有3个副本，HDFS会将这些副本分别放置在不同的机架上的不同节点上。 3. 副本跨机架放置：为了进一步提高数据的可靠性，HDFS还支持将副本跨越多个机架进行放置。这样即使整个机架发生故障，数据仍然可以被恢复。 4. 副本调度：HDFS会根据集群的负载情况和数据块的使用频率来动态调整副本的位置。例如，如果某个节点的负载较高，HDFS会将该节点上的副本迁移到其他节点上，以平衡负载。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值