HDFS 副本存放磁盘选择策略详解

最新推荐文章于 2022-12-20 17:00:27 发布
最新推荐文章于 2022-12-20 17:00:27 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： Linux HDFS 文章标签： HDFS 
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41076809/article/details/80047557
版权
本文详细介绍了HDFS中DataNode的副本存放策略，包括round-robin轮询策略和available space可用空间策略。轮询策略可能导致磁盘利用率不均，而可用空间策略则优先选择剩余空间最多的磁盘。尽管如此，长时间运行的集群仍可能面临磁盘I/O不平衡的问题。
摘要由CSDN通过智能技术生成

在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的固态硬盘）上。

当我们往 HDFS 上写入新的数据块，DataNode 将会使用 volume 选择策略来为这个块选择存储的地方。通过参数 dfs.datanode.fsdataset.volume.choosing.policy 来设置，这个参数目前支持两种磁盘选择策略

  • round-robin

最低0.47元/天 解锁文章
圈圈任
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop（33）：Hadoop调优之HDFS存储优化
bhegi_seg的博客
05-14 707
目录 0. 相关文章链接 1. 纠删码 1.1. 纠删码原理 1.2.?纠删码案例实操 2.?异构存储（冷热数据分离） 2.1. 什么是异构存储 2.2.?异构存储Shell操作 2.3.?测试环境准备 2.4.?HOT存储策略案例 2.5.?WARM存储策略测试 2.6. COLD策略测试 2.7.?ONE_SSD策略测试 2.8.?ALL_SSD策略测试 2.9.?LAZY_PERSIST策略测试 0. 相关文章链接 Hadoop & Hive 文章汇总 1. 纠删码 1.1. 纠删码原理
转载：HDFS参数配置
筷子的博客
01-29 628
配置项 优化原理 推荐值 dfs.namenode.handler.count NameNode中用于处理RPC调用的线程数，默认为10。对于较大的集群和配置较好的服务器，可适当增加这个数值来提升NameNode RPC服务的并发度。 64 dfs.datanod...
HDFS-Datanode磁盘选择策略分析
breakout_alex的博客
04-09 1888
概述 Hadoop技术体系中，hdfs是重要的技术之一，而真实的数据都存储在datanode节点之上，DataNode 将数据块存储到本地文件系统目录中，而每个datanode节点可以配置多个存储目录（可以是不同类型的数据硬盘），hdfs-site.xml （dfs.datanode.data.dir参数）。 一般的hadoop集群datanode节点会配置多块数据盘，当我们往HDFS上...
Hadoop-hdfs 设置磁盘
weixin_47099283的博客
12-20 686
Hadoop-hdfs 设置磁盘
HDFS 副本存放磁盘选择策略
javawins的专栏
01-25 224
在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的...
HDFS全面详解
01-27
- 定义了HDFS的副本存放策略，确保数据可靠性和容错性。 #### DataNode - 在服务器上实际存储文件的block。 - 与NameNode通信，报告自己的状态和block存储情况。 - 直接与客户端交互，响应读写请求。 #### 副本...
HDFS详解②
01-20
4. NameNode返回3个DataNode（如dn1、dn2、dn3）作为副本存放点。 5. 客户端建立一个到dn1、dn2、dn3的通信管道，并开始上传数据。 6. DataNodes逐级接收并转发数据包，同时对客户端发送确认响应。 7. 当一个Block...
hadoophdfs写入文件原理详解共2页.pdf.zip
10-30
4. **数据复制策略**：HDFS采用副本策略来保证数据的高可用性，通常每个数据块有3个副本，分别存储在不同的DataNode上，形成一个副本集。 5. **Block placement**：NameNode根据集群的拓扑结构和数据节点的健康状态...
HDFS文件读写操作
10-11
- 配置副本策略； - 管理HDFS的名称空间； - **DataNode**： - **职责**：DataNode是集群中的“员工”，负责处理文件系统客户端或NameNode发送过来的指令，比如存储、检索和删除数据块等。 - **功能**： - ...
hadoop HDFS增删改
06-04
### Hadoop HDFS 增删改操作及配置详解 Hadoop 分布式文件系统 (HDFS) 是 Hadoop 的核心组件之一，主要用于存储大量数据并支持这些数据的大规模处理。本文将根据提供的文档信息，深入探讨 HDFS 中涉及的增、删、改...
hadoop集群hdfs磁盘划分
杨军的博客
03-27 4870
namenode 做法1:所有盘-1做raid5,拿1块做热备。做法2:用2块盘sas/sata做raid1,用作安装os+soft+config,其他盘-1 sas/sata 做raid5,用作数据盘,拿一块做热备 datanode 用2块sata做raid1,用作安装os+soft+config，其他sata盘做raid0，用作数据盘.通过dfs.data.dir配置多个da
HDFS数据不均衡解决方案：基于剩余空间大小的均衡策略
走在前往架构师的路上
10-22 4170
前言相信对于广大的Hadoop集群的使用者和维护者，集群在长时间的使用过程中，肯定或多或少碰到节点间数据不均衡的现象。比如有些节点可能磁盘使用率已经达到90%，而有些节点可能就10%。当然我们说，在使用百分比明细不均衡的情况下，我们可以用HDFS提供的Balancer工具帮我们解决这个问题。但是这不能解决所有的情况，比如说存在异构节点的集群。举一个简单的例子，集群内2个节点：A节点磁盘容量100T,
值得一提：关于 HDFS 的 file size 和 block size
热门推荐
samhacker的专栏
04-07 2万+
一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？ 本文会通过实验分析这个问题。
Hdfs磁盘存储策略和预留空间配置
www.hohode.com
02-24 3596
下文写的很好，可能是今天大脑缺氧，一直没有完全看懂。 https://my.oschina.net/xiaozhublog/blog/786788
如何获得, 是按一定比例的分配的值
Landebug的博客
11-16 1743
比如,有A B C D四个数,每次请求, 随机获得其中一个,  请求1w次,获得A的次数占总次数的百分比是90%, B是5%, C是3%, D是2%
Linux批量删除文件
圈圈任
04-18 1万+
一、 删除几个文件 rm 文件1 文件2  删除文件夹下面所有文件 rm * -rf  删除某些固定字母开头的文件 rm xxx*  删除一类文件 rm *.txt 二、 利用命令：find . -name "*.c" | xargs rm -rf 发现当前文件夹及其子目录下面都没有了.c文件。 三、 假设要删除的目录/manyfiles下面有大量的文件...
HDFS的副本存放策略
最新发布
04-19
HDFS的副本存放策略是为了提高数据的可靠性和容错性。 HDFS的副本存放策略主要包括以下几个方面： 1. 副本数量：HDFS将文件划分为固定大小的数据块，并将每个数据块复制为多个副本。默认情况下，HDFS会将每个数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值