消息中间件
文章平均质量分 72
菠萝-琪琪
这个作者很懒,什么都没留下…
展开
-
kafka每秒千万级优化思路
如果秒级产生150MB的数据,如果Consumer消费的速度不够快,那么8G的PageCache可能不到半小时就没了,那么就会带来新的问题了,consumer消费的数据由于在PC上面找不到,就会不停的去硬盘查找数据,那么内存度和交换度的性能是数量级的差别,新的Topic数据大概率会存储在日志数量最少的borker磁盘上,如果这部分topic数据量比较大,那么就会导致存储不均衡,这个borker磁盘会率先报警,部分borker磁盘到达存储阈值后会对kafka带了很大的性能影响。可以通过如下命令查看迁移状态。原创 2022-10-12 19:19:15 · 1440 阅读 · 0 评论 -
Rocketmq 事务消息使用与原理
Rocketmq 使用示例和原理解析原创 2022-02-08 15:46:13 · 2562 阅读 · 0 评论 -
kafka 核心知识分区和副本
1.kafka分区机制分区机制是kafka实现高吞吐的秘密武器,但这个武器用得不好的话也容易出问题,今天主要就来介绍分区的机制以及相关的部分配置。首先,从数据组织形式来说,kafka有三层形式,kafka有多个主题,每个主题有多个分区,每个分区又有多条消息。而每个分区可以分布到不同的机器上,这样一来,从服务端来说,分区可以实现高伸缩性,以及负载均衡,动态调节的能力。当然多分区就意味着每条消息都难以按照顺序存储,那么是不是意味着这样的业务场景kafka就无能为力呢?不是的,最简单的做法可以使用原创 2021-05-15 21:55:38 · 620 阅读 · 4 评论 -
一图读懂RocketMQ核心工作流程
废话不多说,说的太多也容易忘记,就上一张图来解释RMQ核心组件得交互流程吧,当然如果小伙伴想要深入了解原理得话还是需要去阅读源码,对着每个核心组件慢慢琢磨得原创 2021-03-24 10:35:14 · 262 阅读 · 0 评论 -
Apache顶级开源项目<Apache Pulsa>的架构与核心概念
Apache Pulsa的架构与核心概念Pulsar基本架构Pulsar采用存储计算分离的架构,pulsar使用了bookkeeper做消息的存储,bookkeeper保证了消息存储的可靠性和高效性,bookkeeper为pulsar提供了存储的扩展能力Pulsar使用zk做元数据存储多租户,pulsar最初的设计就是支持多租户的命名空间:一个租户可以有多个命名空间,一个topic属于一个命名空间,pulsar中的配置都是以命名空间为单位配置的Pulsar的broker用于处理消息的读写,broker中会有原创 2020-12-07 21:17:33 · 2305 阅读 · 0 评论