解决zookeeper磁盘IO高的问题

最新推荐文章于 2024-01-21 03:41:07 发布
最新推荐文章于 2024-01-21 03:41:07 发布
阅读量1.6k 收藏
点赞数
分类专栏： Zookeeper Storm 文章标签： 大数据 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_4064/article/details/82673723
版权

 

为什么zookeeper会导致磁盘IO高

由于早期的storm版本心跳信息严重依赖zookeeper，心跳风暴会导致zookeeper的事务日志频繁的写磁盘，带来的问题首当其冲的是磁盘IO会爆掉。

 

 

优化思路

将zookeeper事务的日志放入内存中，降低对磁盘的依赖，受内存空间容量限制，需要控制事务日志大小。

这个方案的风险就是一旦机房断电会导致zookeeper中的部分数据丢失，所以特别重要的数据不建议这样做，SSD会是个不错的选择。

 

方案步骤

  • 事务日志指向内存文件系统dataLogDir=/dev/shm
最低0.47元/天 解锁文章
iteye_4064
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Zookeeper同步机制!!!
yangcai11的博客
05-25 4180
优点：解决方案、处理问题能力、架构优化/拓展能力 零、Zookeeper事务 事务id(主从同步Id-每次ack递增+1,64位存储（32位纪元号-leader号，32位自增号）) 每一个操作都将使节点接收到一个Zxid格式的时间戳 ZooKeeper的每个节点维护者两个Zxid值，为别为：cZxid、mZxid。 （1）cZxid：是节点的创建时间所对应的Zxid格式时间戳。 （2）mZxid：是节点的修改时间所对应的Zxid格式时间戳。 一个客户端发起的写请求打到follower时的整个流程。 1
为什么zookeeper会导致磁盘IO高【转】
dianzhouyu2189的博客
09-14 371
由于早期的storm版本心跳信息严重依赖zookeeper，心跳风暴会导致zookeeper的事务日志频繁的写磁盘，带来的问题首当其冲的是磁盘IO会爆掉。 优化思路 将zookeeper事务的日志放入内存中，降低对磁盘的依赖，受内存空间容量限制，需要控制事务日志大小。 这个方案的风险就是一旦机房断电会导致zookeeper中的部分数据丢失，所以特别重要的数据...
高并发的IO底层原理（读 netty_zookeeper高并发实战）
qq_40677192的博客
03-16 200
高并发的IO底层原理（读 netty_zookeeper高并发实战） 一、read，write系统的调用 无论是进行read调用还是write调用，数据会在进程缓冲区和内核缓冲区之间进行转换，并不是直接从物理设备把数据读取到内存中，或者进数据从内存直接写入屋里设备。 read，write系统调用并不负责数据在内核缓冲区和物理设备（如磁盘）之间进行交换，这项底层的操作交由Linux的系统内核（kernel）来完成的 二、内核缓冲区和进程缓冲区 由于外部设备的直接读写涉及操作系统的中断，发生操作系统中断时
记一次Zookeeper的IO Hang问题
cmd_123456的专栏
04-28 4760
过程记录       最近在进行zookeeper的Failover测试，测试过程中，发现当频繁的对leader角色进行断网操作时，zookeeper会长时间停止服务，直到leader节点网络恢复。 zookeeper是一种典型的Paxos协议衍生品，满足CAP理论的A和P两个特性， 是可以Handle这种比较常见的出现网络分区场景的。当Leader节点出现网络故障时，整个quorum的状态变化应...
步步惊心，Zookeeper集群运维“避坑”指南
ctna2171的博客
11-12 525
基于京东云丰富的实战经验，我们将陆续分享运维方面的干货，帮助小伙伴们进阶为运维达人，欢迎持续关注。首先带来的是“监控”专题系列。监控，可以判断服务的健康程度、定位服务问题、透视系统内部状态，是运维工作中极其重要的一环。该系列内容...
Zookeeper压力测试.docx
11-13
本文将深入探讨Zookeeper在压力测试中的表现，包括磁盘IO瓶颈、CPU利用率、事务日志与快照策略以及连接管理等问题。 首先，我们关注Zookeeper在高并发环境下的性能表现。在800个连接并发创建80万个数据点时，每个...
Zookeeper压力测试.pdf
10-26
在进行压力测试时，我们模拟了800个连接并发创建80万个数据点的情景，观察到每个Zookeeper虚机节点的磁盘IO达到极限，限制了系统的吞吐量（Transactions Per Second，简称TPS）。在测试中，TPS稳定在约9000，远低于...
kafka+zookeeper安装教程
12-21
- **磁盘I/O线程数**: 设定处理磁盘I/O的线程数, 如`num.io.threads=8`。 - **Zookeeper配置**: 设置Zookeeper的连接信息, 如`zookeeper.connect=localhost:2181,localhost:2182,localhost:2183`。 - **Zookeeper...
基于内存的分布式计算架构.pdf
10-16
2. **MySQL的限制**：虽然MySQL稳定易运维，但它不直接支持bitmap操作，每次更新需先查询、再更新，造成大量网络IO和磁盘IO。 3. **资源消耗**：随着用户数量的增加，bitmap对象大小显著增大，频繁的更新操作导致...
客户端server选择1
08-08
在本例中，客户端在启动时会从Zookeeper上获取所有可用Server的相关信息，包括serverID（用于唯一标识每个Server）、IP地址、端口，以及负载信息，如磁盘空间剩余率和IO使用率。这些信息对于客户端来说是至关重要的...
zookeeper问题整理
qq_36250202的博客
06-25 360
1.如何解决zookeeper磁盘IO高的问题 ==可以把事务日志输出到内存空间，配置dataLogDir：/dev/shm/ 内存空间目录 ==ZK提供了自动清理事务日志和快照文件的功能关闭autopurge.purgeInterval =0 ==可以配置snapCount：默认是100000，调大一点就可以减少触发快照snapshot， ==就会少生成一定的snapshot.*文件，事务...
Zookeeper的性能优化实践
最新发布
禅与计算机程序设计艺术
01-21 1044
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，它提供了一种可靠的、高性能的协同机制，用于构建分布式应用程序。Zookeeper的核心功能包括：集群管理、数据同步、配置管理、领导选举等。在分布式系统中，Zookeeper被广泛应用于实现一致性哈希、分布式锁、分布式队列等。 随着分布式系统的不断发展和扩展，Zookeeper的性能成为了关键的考量因素。...
优化篇: zookeeper
陌上人如玉，公子世无双
04-21 2731
zookeeper作用: 主从，选举，配置中心，数据监听…简单来说就是一个存储数据的地方，每个数据变更，能通知到对应的监听者。 zookeeper部署上 内存 一般4g 就够（视zk的DataTree来）。磁盘由于 Zookeeper 的数据写入磁盘(由于事务性)，建议使用 SSD。 操作系统上(一般关闭交换区) Zookeeper 的性能会很明显受到交换分区的影响。建议部署 Zookeeper 的服务器关闭交换分区功能或是通过内核参数调整，减少对于交换分区的使用。 不建议 Zookeeper 和.
线上问题排除
qq_24692021的博客
11-05 721
相信各位在日常工作中肯定会遇到应用程序莫名其妙崩溃的情况，比如常见的CPU100%，内存耗尽...当出现这些问题后我们就需要借助Linux命令来帮助我们定位发现问题，本文就给大家罗列一些Java后端线上问题排查的常用命令，建议直接收藏！ 内存瓶颈 free free是查看内存使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。 free -h -s 3表示每隔三秒输出一次内存情况，命令如下 [1014154@cc69dd4c5-4tdb5~]$free ...
HBase Zookeeper 机器磁盘老是打满的故障分析与解决办法
MT——黑板报
05-15 1992
最近连续两次发现凌晨5点的时候，zk机器磁盘打满导致zk进程挂掉，从而造成hbase集群不可用的事故。 通过分析发现，zk进程一直在写log到文件log.31001e217b, 写这个文件主要是zk将保存的状态信息的操作日志写入到文件中持久化，通过如下的命令查看该日志文件可以发现是什么运用在不停地更新zk中的状态：export ZOOKEEPER_CLASSPATH=/usr/local/hadoo
Zookeeper的日志和磁盘使用
jeff_fangji的专栏
03-02 2164
服务器使用事务日志来持久化事务。在接受一个提案之前，服务器（Follower和Leader)需要将提案中的事务持久化到事务日志中。事务日志是服务器本地磁盘的一个文件。事务按顺序附加到这个文件。服务器时不时的会关闭当前文件，创建一个新文件来滚动(Roll Over)日志。
初识zookeeper
weixin_42128977的博客
09-27 670
ZooKeeper 是一个开源的分布式协调框架，它的定位是为分布式应用提供一致性服务ZooKeeper 会封装好复杂易出错的关键服务，将高效、稳定、易用的服务提供给用户使用。ZooKeeper = 文件系统 + 监听通知机制。（重点）简介了介绍zookeeper数据模型，监听机制，持久化，指令以及一些特性。zk是基于内存进行读写操作的，有时候会进行消息广播，因此不建议在节点存取容量比较大的数据。dataDir（快照）目录、dataLogDir（事务日志）两个目录会随着时间推移变得庞大，容易造成硬盘满了。
zookeeper频繁异常问题分析
热门推荐
09-02 10万+
1.1            操作系统信息 1.1.1          CPU信息 从上述可以看出在问题点CPU使用率并不高，故排除CPU问题。 1.1.2          内存信息   CM监控界面并无内存信息，无法提供图片。 但问题期间，监控机器内存，发现还有剩余，故排除内存问题。 1.2            ZKFAILOVER日志信息   2017-09-0
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值