[DN优化] [锁优化][HDFS-15160] ReplicaMap, Disk Balancer and others use datanode readlock

原创 已于 2022-03-24 19:45:27 修改 · 923 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

于 2022-03-24 19:40:15 首次发布
本文介绍了HDFS中为提高并发性能而进行的锁优化，涉及ReplicaMap、DiskBalancer和FsDatasetImpl等组件。通过对只读操作使用读锁，减少了写锁的使用，从而提升了数据节点的操作并发性。改动包括修改相关方法的锁类型，并添加配置选项以控制读写锁的启用。所有改动经过单元测试验证，确保了系统的稳定性和性能提升。

背景

现在我们已经引入了HDFS-15150，我们可以开始改进一些DN操作来使用读锁而不是写入锁来提高并发。

第一步是对Replicamap进行更改

- ReplicaMap：一些方法会调用`replicmap .replicas()`(例如`getBlockReports`, `getFinalizedBlocks`, `deepCopyReplica`)，并且只以只读方式使用，所以它们也可以切换到使用readLock。

接下来是目录扫描仪和磁盘均衡器，只需要读锁。

- `Disk Balancer`, `Directory Scanner`： Next is the directory scanner and disk balancer, which only require a read lock.

最后，FSDATASETIMPL在那里它相当明显，他们只需要读锁。

- BlockSender and fsdatasetImpl： where is it fairly obvious they only need a read lock.

分析

（1）ReplicaMap该类维护副本的集合

-
最低0.47元/天 解锁文章
hdfs --daemon start datanode指令介绍
CSDN 精品推荐
03-07 2939
命令时，必须确保HDFS环境已正确配置，并且当前用户具有足够的权限以启动HDFS守护进程。同时，需要注意在启动数据节点之前，必须先启动HDFS的。在HDFS中，数据节点是存储HDFS数据块的物理节点。数据节点存储和管理数据块，并向客户端和其他数据节点提供读写操作。命令来查看当前HDFS集群中的节点信息，包括数据节点的数量、容量和使用情况等。命令，可以启动一个数据节点守护进程，以便在HDFS集群中加入一个新的数据节点。，以确保整个HDFS集群正常运行。命令来停止数据节点守护进程。启动数据节点后，可以使用。
【精】从HDFS的文件系统锁到读写锁
LifeIsGood
07-19 1813
通过本文，你将了解到： HDFS中的FSNamesystemLock是什么？ 读写锁ReentrantReadWriteLock、写锁降级以及ReentrantReadWriteLock源码对写线程饥饿情况做的一点优化。 简要了解JDK 8的新读写锁：StampedLock。 一、HDFS中的FSNamesystemLock 了解HDFS的朋友都知道，HDFS中有一把大锁。它是HDFS中令人又爱又恨的一个存在。爱是因为：它实现方式简单，保护整个文件系统在并操作下的正确性。恨是因为：正是由于它实现方式简单
[DN优化] [锁优化] [HDFS-15150] Introduce read write lock to Datanode
王小禾
03-24 2054
分析 背景：DN性能优化的一部分 目标：AutoCloseableLock 改为 ReadWriteLock 知识回顾：假设在程序中定义一个共享的数据结构，它大部分时间提供读服务，而写操作占有的时间很少，但是写操作完成之后的更新需要对后续的读服务可见。在没有写操作的时候，两个线程同时读一个资源没有任何问题，所以应该允许多个线程能在同时读取共享资源。但是如果有一个线程想去写这些共享资源，就不应该再有其它线程对该资源进行读或写（也就是说：读-读能共存，读-写不能共存，写-写不能共存）。这就需要一个读/写锁来解决
ReadLock和WriteLock(读写锁)
cdw8131197的博客
09-20 2万+
ReadWriteLock也是一个接口，提供了readLock和writeLock两种锁的操作机制，一个资源可以被多个线程同时读，或者被一个线程写，但是不能同时存在读和写线程。使用场合假设在程序中定义一个共享的数据结构用作缓存，它大部分时间提供读服务（例如：查询和搜索），而写操作占有的时间很少，但是写操作完成之后的更新需要对后续的读服务可见。在没有读写锁支持的（Java 5 之前）时候，如果需要完成
hdfs数据磁盘类型设置
wflh323的专栏
05-31 883
储存类型： ARCHIVE:存档 ，存冷数据 DISK: 硬盘 SSD: ssd盘 RAM_DISK: 内存 hdfs设置 dfs.storage.policy.enabled=true 默认为true dfs.datanode.data.dir=[DISK]/data1/dn/disk0, [SSD]/da...
深度优化Hadoop DataNode读写性能
李姓门徒
05-17 1682
​ 需要深入研究Hadoop集群的存储节点并做相应的优化，减少新机型带来的性能压力。NameNode的优化可以参考（深度优化Hadoop NameNode读写性能） ​
HDFS Federation在美团点评的应用与改进
一个有情怀的程序猿博客
07-04 241
一、背景 2015年10月，经过一段时间的优化与改进，美团点评HDFS集群稳定性和性能有显著提升，保证了业务数据存储量和计算量爆发式增长下的存储服务质量；然而，随着集群规模的发展，单组NameNode组成的集群也产生了新的瓶颈： * 扩展性：根据HDFS NameNode内存全景和HDFS NameNode内存详解这两篇文章的说明可知，NameNode内存使用和元数据量正相关。180GB堆内存配置下，元数据量红线约为7亿，而随着集群规模和业务的发展，即使经过小文件合并与数据压缩，仍然无法阻止元数据量逐..
HDFS Balancer原理及优化方向
whutmengmeng的博客
10-30 1254
集群在长时间使用过程中，难免会出现节点间数据不均衡的情况。尤其是在集群新增节点，或者人为的调整了副本数量以后，数据多的节点可以达到95%以上，少的节点连10%都不到。hadoop中提供了Balance工具来在节点间移动数据以达到集群节点数据平衡的效果。集群数据不平衡现象越严重，越有必要调整和优化Balancer的速度。
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 3039
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
HDFS Balancer（HDFS重新平衡）
mnasd的博客
05-18 2万+
参考文档： http://blog.csdn.net/chilianyi/article/details/50946818https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hdfs_balancer.html     CDH官网文档1.快速入门当前存储集群...
【小工具】hdfs balance脚本（均衡操作）
01-20
hdfs balance脚本（均衡操作）前言shell源码执行语句执行结果效果 前言 集群增加新节点后，hdfs 节点和disk之间的数据分配十分不均匀，需要进行均衡操作，这里写了一个简单的balance操作脚本 shell源码 #!/bin/bash # 904857600 动态分配balance操作的带宽 # 可执行ethtool bond0命令查看自己的带宽 # 其中bond0是网卡 sudo -u hdfs hadoop dfsadmin -setBalancerBandwidth 904857600 # -threshold 10 各个节点相差10%就开始执行均衡操作 sudo -u
HDFS节点内数据平衡：DiskBalancer
走在前往架构师的路上
06-28 1万+
前言做集群运维的同学可能都会遇到这样一个问题:Hadoop集群使用久了,各个节点上的数据会变得不均衡,多的达到70,80%,少的就10,20%.面对这种场景,我们的办法一般就是用HDFS自带的Balancer工具对其进行数据平衡.但有的时候,你会发现尽管节点间数据平衡了,但是节点内各个磁盘块的数据出现了不平衡的现象.这可是Balancer工具所干不了的事情.通过这个场景,我们引入本文的一个话题点:H
HDFS 磁盘写及balance
weixin_44129801的博客
01-07 609
1. HDFS写策略 第一复本写本地, 第二复本写其他机架, 第三复本写其他机架的不同节点 目的: 尽可能地容灾, 不仅防止单台机器宕机, 也防止整个机架异常; 同时保证写的速度 (本地更快) The class is responsible for choosing the desired number of targets for placing block replicas. The replica placement strategy is that if the writer is on a d
Hadoop系列之HDFS 磁盘均衡(17)
热门推荐
01-26 6万+
HDFS 磁盘均衡 HDFS 磁盘均衡器 HDFS 提供了一个用于 Datanode 内多磁盘之间的数据均衡工具，即 Diskbalancer （磁盘均衡器），它把数据均衡的分发到一个 Datanode 下的多个磁盘。Diskbalancer 和 Hadoop 2.0 版本以前提供的 Balancer 不同，因为 Balancer 关心的是不同 Datanode 之间的数据均衡，Datanode 内多个磁盘的数据均衡它是不起作用的。 HDFS 由于以下原因，在把数据存储到 Datanode 多个磁盘的时候，
CDH使用Disk Balancer平衡磁盘HDFS数据​
十八闲客的博客,专注于大数据运维
07-21 776
从 CDH 5.8.2 开始，Cloudera Manager提供了一个全面的存储容量管理解决方案，可以跨节点 (Balancer)、存储类型(Mover)和单个DataNode中的磁盘(磁盘平衡器)。2、显然上述两个磁盘需要进行磁盘平衡，假设要平衡的主机名称为lei-dn-3.example.org，通过如下命令可以生成磁盘平衡任务：​。-ls后面跟着的是上一步生成计划的时间，可以看到有格式如{机器名}.plan.json文件夹（不是一个文件）。通过如下命令可以查询生成的JSON文件：​。
hdfs - balancer学习
cclovezbf的博客
06-27 4182
balance是啥，顾名思义 是个平衡器主要是平衡各个datanode之间的使用 网上的文档一个比一个写的6结果，有的命令都拼错了。。。而且你知道究竟平衡的是啥么直接上官网Apache Hadoop 3.2.2 – HDFS Commands Guidehttps://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#balancer--查看balance 也就是集群之间转移数据的速度hdfs df
HDFS Balancer负载均衡器
huan的学习记录
03-30 1166
当我们的hadoop集群运行了一段时间之后，各个`DataNode`上的`数据分布`并`不一定`是`均匀分布`的。**比如说：** 我们向现有集群中添加了一个新的DataNode。
Hadoop3 - HDFS Block 负载平衡以及 Disk 平衡
小毕超博客
10-07 1927
发生这种情况的原因可能是由于大量的写入和删除操作，也可能是由于更换了磁盘。如果我们使用基于可用空间的选择策略，则每个新写入将进入新添加的空磁盘，从而使该期间的其他磁盘处于空闲状态。计划中的每个移动步骤都具有目标磁盘，源磁盘的地址。的正值表示磁盘未充分利用，而负值表示磁盘相对于当前理想存储目标的利用率过高。值表示该机器节点具有较好的扩展性，而较高的值表示节点具有更倾斜的数据分布。，就可以找到集群中数据分布倾斜的节点，或者可以获取给定节点的。所谓的平衡指的是每个。的存储，在所在机器上的磁盘之间分配数据块。
hdfs --daemon start namenode/datanode/secondarynamenode
最新发布
05-28
在 Hadoop 分布式文件系统（HDFS）中，`hdfs --daemon start namenode`、`hdfs --daemon start datanode` 和 `hdfs --daemon start secondarynamenode` 是用于启动 HDFS 中不同守护进程的命令。 以下是每个命令的作用以及如何通过代码实现这些功能的详细说明： ### 1. **启动 NameNode** - NameNode 是 HDFS 的核心组件之一，负责管理文件系统的命名空间和客户端对文件的访问。 - 启动 NameNode 的命令： ```bash hdfs --daemon start namenode ``` #### 解释 - `--daemon start`：表示以守护进程的方式启动服务。 - `namenode`：指定启动的是 NameNode 服务。 ### 2. **启动 DataNode** - DataNode 负责存储实际的数据块，并根据 NameNode 的指示执行数据的读写操作。 - 启动 DataNode 的命令： ```bash hdfs --daemon start datanode ``` #### 解释 - `datanode`：指定启动的是 DataNode 服务。 ### 3. **启动 SecondaryNameNode** - SecondaryNameNode 并不是 NameNode 的热备份，而是定期合并 NameNode 的元数据文件（fsimage 和 edits 日志），以防止元数据文件过大。 - 启动 SecondaryNameNode 的命令： ```bash hdfs --daemon start secondarynamenode ``` #### 解释 - `secondarynamenode`：指定启动的是 SecondaryNameNode 服务。 --- ### 示例代码：检查 HDFS 守护进程状态 以下是一个简单的 Bash 脚本，用于检查 HDFS 的 NameNode、DataNode 和 SecondaryNameNode 是否正在运行： ```bash #!/bin/bash # 检查 NameNode 状态 if pgrep -fl "NameNode" > /dev/null; then echo "NameNode is running." else echo "NameNode is not running." fi # 检查 DataNode 状态 if pgrep -fl "DataNode" > /dev/null; then echo "DataNode is running." else echo "DataNode is not running." fi # 检查 SecondaryNameNode 状态 if pgrep -fl "SecondaryNameNode" > /dev/null; then echo "SecondaryNameNode is running." else echo "SecondaryNameNode is not running." fi ``` ### 解释 - `pgrep -fl "NameNode"`：使用 `pgrep` 命令查找当前系统中是否运行了 NameNode 进程。如果找到，则输出“NameNode is running.”；否则输出“NameNode is not running.”。 - 类似地，可以检查 DataNode 和 SecondaryNameNode 的状态。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值