消息队列
文章平均质量分 67
kafka & 消息中间件
c&0xff00
纸上学来终觉浅
展开
-
RocketMq事务消息(分布式事务解决方案)
从问题出发阅读本文后,我们将了解以上两个问题的答案。1、RocketMq生产者组(producer group)的设定有什么用?2、一个订单处理的场景,消费者订阅了订单topic,但总担心丢消息。于是为了防止丢消息,每天都会通过定时任务做一致性校验,这是最佳方案吗?这还得从基于消息队列实现实现分布式事务的解决方案说起。常见的分布式事务包括 2PC、3PC、TCC、本地消息表、消息事务、最大努力通知。今天我们主要讲讲本地消息表、消息事务两种方案。本地消息表本地消息表的大致流程是这样的。pub原创 2021-09-07 00:16:54 · 8746 阅读 · 0 评论 -
org.apache.rocketmq.store.dledger.DLedgerCommitlogTest.testTruncateCQ
背景:Windows10 构建 rocketMq最新版本(4.9.2),在执行DLedgerCommitlogTest测试用例时报错:-------------------------------------------------------------------------------Test set: org.apache.rocketmq.store.dledger.DLedgerCommitlogTest------------------------------------------原创 2021-08-29 23:08:51 · 167 阅读 · 0 评论 -
Kafka空消费组延时rebalance(group.initial.rebalance.delay.ms配置)
在0.11之前的版本中,多个consumer实例加入到一个空消费组将导致多次的rebalance,这是由于每个consumer instance启动的时间不可控,很有可能超出coordinator确定的rebalance timeout(即max.poll.interval.ms),而每次rebalance的代价又相当地大,因为很多状态都需要在rebalance前被持久化,而在rebalance后...转载 2020-03-02 10:48:48 · 4892 阅读 · 0 评论 -
Kafka安装(windows)
1 安装zookeeper1、 下载安装包http://zookeeper.apache.org/releases.html#downloadhttps://www.apache.org/dyn/closer.cgi/zookeeper/一定要认准bin版,apache-zookeeper-3.5.5-bin如果没有使用bin版本,在运行时可能会报:错误: 找不到或无法加载主类 or...转载 2020-03-02 10:19:28 · 1900 阅读 · 1 评论 -
Kafka原理
kafka是LinkedIn公司开发的一种分布式的基于“发布/订阅”的消息中间件。1、主要特点:1、发布/订阅高吞吐量。其中它的消息持久化的访问时间复杂度为O(1),即使对TB级别的数据也能维持常数时间的访问。2、消息持久化。3、分布式。易于向外拓展4、消息消费采用拉模式(pull)。5、支持Online和OffLine,同时支持离线数据处理和实时数据处理。上图是...原创 2020-03-01 22:35:13 · 279 阅读 · 0 评论