【精】HDFS基于磁盘ioutil的选盘策略实现

最新推荐文章于 2023-03-29 13:00:48 发布
最新推荐文章于 2023-03-29 13:00:48 发布
阅读量596 收藏 2
点赞数
分类专栏： HDFS全方位实战 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/122932207
版权
HDFS全方位实战 专栏收录该内容
176 篇文章 151 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了HDFS的一种新的选盘策略，该策略在Hadoop-3.3.1的AvailableSpaceVolumeChoosingPolicy基础上，加入了ioutil的考量。通过计算磁盘的ioutil值，选择ioutil最小的磁盘进行数据写入。文章详细阐述了ioutil的计算方法以及如何根据ioutil和可用空间选择磁盘的过程。
摘要由CSDN通过智能技术生成

一、HDFS现有的选盘策略

截止到Hadoop-3.3.1版本，目前HDFS写数据的选盘策略有两种，分别是：
RoundRobinVolumeChoosingPolicy和AvailableSpaceVolumeChoosingPolicy。

由配置项dfs.datanode.fsdataset.volume.choosing.policy指定使用的选盘策略，默认是RoundRobinVolumeChoosingPolicy策略。

RoundRobinVolumeChoosingPolicy策略思路比较简单，就是用轮询方式依次选择每个volume。

AvailableSpaceVolumeChoosingPolicy策略考虑了磁盘的剩余可用空间。在可选磁盘列表之中所有的磁盘剩余可用空间相差在配置的某个阈值（默认10GB）内时，说明此时各个磁盘之间数据量比较均匀，于是退化成RoundRobinVolumeChoosingPolicy。如果相差大于配置的阈值时，则按照一定的概率(实际中一般是大于0.5，小于1)优先选择剩余可用空间大的volume。

二、基于ioutil的选盘策略

设计思路 ：

我们在Ava

了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
专栏目录
订阅专栏
简单的总结了下hdfs
域清风
09-26 716
1. HDFS前言 HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题 重点：文件切块，副本存放，元数据 2. HDFS特性 1.概念： 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色； 2.特性： （1）H...
Zabbix磁盘IO监控之自动发现
mofiu的博客
06-21 8028
一、iostat Zabbix并没有提供模板来监控磁盘的IO性能，所以我们需要自己来创建一个。iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。所以在使用iostat监控系统IO负载的时候，不要直接iostat取结果，而是iosta...
案例分析：磁盘I/O %util特别高
老叶茶馆
04-21 5869
*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。一、背景简介作为一个DBA难免不了会遇到性能问题，那么我们遇到性能问题该如何进行排查呢？例如我们在高并发的业务下，出现业务响应慢，处理时间长我们又该如何入手进行排查。本篇文章将分析io高的情况下如何分析及定位。二、环境复现环境配置：本次测试使用128C_512G_4TSSD服务器配置，MySQ...
云主机磁盘I/O %util飙高排查
最新发布
木简熙的博客
03-29 2038
linux 磁盘io util%飙高原因定位与分析
磁盘I/O %util特别高
eagle89的专栏
03-21 2227
磁盘I/O %util特别高
java非固态运行速度_SSD磁盘util接近 100%代表磁盘慢吗
weixin_31477659的博客
02-26 561
问题现象集群中查看到ssd磁盘(做cache盘)io util使用率接近100%，需要判读是否达到了磁盘瓶颈。问题调查参考 iostat 的文档， 和 别人的blog 都有提到， iostat 的utils 并不能反映新的支持并发的设备，比如ssd， raid等：%utilPercentage of elapsed time during which I/O requests were iss...
hadoop关于hdfs详细解答
dream_river_miss的博客
11-13 1466
一. 课前提示 HDFS内容 大数据的概念及其特征 Hadoop简介及其生态圈 HDFS的内部组件介绍 HDFS的安装模式介绍 独立模式 伪分布式模式 完全分布式的搭建 HDFS的常用命令 HDFS的设计思想 HDFS的体系结构 HDFS的工作机制 HDFS的常用API HDFS的数据流 HA的搭建 今日目标 2.1 了解部分 - 大数据的概念、特征、应用领域 - Hadoop出现的原因、发展历史、组成架构、生态圈 - HDFS的fsimage和edit的查看方式 - HDFS的快照管
大厂Kafka的深度实践
m0_72885838的博客
08-22 223
Kafka是一个开源的流处理平台，我们首先了解一下Kafka在美团数据平台的现状。图1-1 Kafka在美团数据平台的现状如图1-1所示，蓝色部分描述了Kafka在数据平台定位为流存储层。主要的职责是做数据的缓存和分发，它会将收集到的日志分发到不同的数据系统里，这些日志来源于系统日志、客户端日志以及业务数据库。下游的数据消费系统包括通过ODS入仓提供离线计算使用、直接供实时计算使用、通过DataLink同步到日志中心，以及做OLAP分析使用。Kafka在美团的集群规模总体机器数已经超过了15000+台，单集
HDFS 磁盘写及balance
weixin_44129801的博客
01-07 433
1. HDFS写策略 第一复本写本地, 第二复本写其他机架, 第三复本写其他机架的不同节点 目的: 尽可能地容灾, 不仅防止单台机器宕机, 也防止整个机架异常; 同时保证写的速度 (本地更快) The class is responsible for choosing the desired number of targets for placing block replicas. The replica placement strategy is that if the writer is on a d
Go的io/ioutil
思维小刀
11-26 713
WriteString // WriteString // WriteString 将字符串 s 写入到 w 中,返回写入的字节数和写入过程中遇到的任何错误 // 如果 w 实现了 WriteString 方法,则调用 w 的 WriteString 方法将 s 写入 w 中 // 否则，将 s 转换为 []byte,然后调用 w.Write 方法将数据写入 w 中 // func Write...
Hadoop2.x-基础[HDFS篇](介绍、常用API、I/O操作、工作机制)
JolyouLu的博客
11-13 749
HDFS(Hadoop Distributed File System)，是一个文件系统，用于存储文件，通过目录树来定位文件，并且它是分布式的在大数据环境下，随着数量越来越多在一个主机下已经不能存下所有数据了，所以就需要将数据分布在不同的主机磁盘上，但是这就会带来一个问题就是数据分布在各个主机上对于数据的读取与数据的写入维护非常不方便，这时就需要一种解决方案能够管理这些分布式的数据，HDFS就是这些分布式文件管理系统中的一种。
磁盘util高问题排查
daiyudong2020的博客
07-21 6861
发现DB机器磁盘util100% 通过iostat命令，发现读写IO读写不超过500 通常，磁盘读写次数的QPS不低于几千，所以结论是磁盘故障。 原文出自： End;
iostat 详细说明，系统磁盘IO负载分析
隔壁老猪
09-11 3897
iostat是I/O statistics（输入/输出统计）的缩写，iostat提供对系统整个磁盘活动统计情况。 iostat用法：iostat [ -c | -d ] [ -k ] [ -t ] [ -V ] [ -x [ device ] ] [ interval [ count ] ] -c：CPU的使用情况；-d：磁盘的使用情况；-k：表示每秒按kilobytes字节显示数据；-t：打...
HDFS介绍
yinbiao123456的博客
01-24 522
目录 1 HDFS架构 2 HDFS工作原理 2.1 HDFS文件写入 2.2 HDFS文件读取 2.3 HDFS副本存放策略 3 命令行接口 4 HDFS代码实例 4.1 IOUtils类 4.2 FileSystem类 5 HDFS特点 6 HDFS2.x新特性 6.1 NameNode Federation 6.2 NameNode HA 7 HDFS小结 HD...
Linux性能监控之磁盘IO
不见长安见晨雾
03-21 4628
iostat 重点关注：%util表示磁盘的I/O使用率。 iotop iostat只能看到系统的I/O情况，那如何查看具体是哪个进程/线程在操作I/O呢？可以使用iotop工具监测。 iotop安装 iotop使用 输入iotop -oP，o表示只显示有IO的线程/进程，P表示只显示进程。如下，我们可以看到tomcat的进程在写日志文件。 –version 查看版本 -h, --help 查看帮助 -o, --only 只显示有 I
HDFS系列(7) | HDFS的 I/O流 API操作
不温卜火
04-25 4879
上一篇博文我们分享的API操作HDFS系统都是框架封装好的。那么如果我们想自己实现上述API的操作该怎么实现呢？ 此次物品们介绍的是采用I/O流的方式实现数据的上传和下载。 目录一. HDFS文件上传二. HDFS文件下载三. 定位文件读取 一. HDFS文件上传 需求：把本地d盘上的lisen.txt文件上传到HDFS根目录 1. 代码 package com.buwenbuhuo....
linux 磁盘性能 io性能,[转]Linux 查看磁盘IO性能并找出占用IO读写很高的进程
weixin_39563827的博客
05-07 152
根据磁盘IO告警，找到占用磁盘IO (util)读写很高的进程。线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过iostat -x 1 10(参数解释: `-x`扩展显示, `1 10`每1秒更新显示一次显示10次后退出)查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum installsysstat ...
HDFS 副本存放磁盘选择策略
javawins的专栏
01-25 237
在 HDFS 中，DataNode 将数据块存储到本地文件系统目录中，具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中，一般都会配置多个目录，并且把这些目录分别配置到不同的设备上，比如分别配置到不同的HDD（HDD的全称是Hard Disk Drive）和SSD（全称Solid State Drives，就是我们熟悉的...
HDFS多租户实现与安全策略
HDFS的多租户设计是基于角色的访问控制(RBAC)策略，以实现更有效的资源管理和安全性。 多租户概念的比喻是旅馆的房间分配，通过不同的隔断方案（大通铺、木板隔断、水泥墙隔断）来比喻不同级别的资源隔离。在云存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值