Kafka(五) 时间轮

最新推荐文章于 2024-07-13 18:53:30 发布
最新推荐文章于 2024-07-13 18:53:30 发布
阅读量771 收藏
点赞数
文章标签： 链表 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42766738/article/details/126912585
版权

时间轮

  • Kafka的时间轮是一个存储定时任务的环形队列，底层采用数组实现。数组中的每个元素都能存放一个定时任务列表，其数据结构是一个环形双向链表。链表的每个节点都表示一个定时任务项
  • 时间轮由多个时间格组成，每个时间格代表当前时间轮的基本时间跨度。还有一个表盘指针，指向的时间格为目前到期，需要处理的定时任务
  • 时间轮可能有多个层级，第一层的总时间长度即第二层的基本时间跨度。当定时任务所剩的时间足以被放入更低一层时间轮时，会被降级到低一层时间轮。只有最低层时间轮的任务会被执行
  • 时间轮的插入/删除时间复杂度均为1
DnalLohlum
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【kafka】kafka 时间轮 TimingWheel
九师兄
02-08 547
举例外部的Purgatory添加任务到定时器中，然后通过Reaper线程的advanceClock移动时钟的调用顺序，假设当前时间currentTime是0s，时间轮的tickMs=1000ms=1s，时间轮大小=8，整个时间轮的范围interval=1s*8=8s，Reaper线程循环时轮询一次队列最长timeoutMs=200ms，添加的四个任务的超时时间分别是[A=0s，B=1s，C=1s，D=3s]。60=60s，刚好作为Level1的tickMs，Level1的interval=60s。
Kafka解惑之时间轮 (TimingWheel)
weixin_30849403的博客
06-06 1706
Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n))，并不能满足Kafka的高性能要...
Kafka——时间轮
吴声子夜歌的博客
08-20 708
对于之前所说的350s的定时任务，显然第一层时间轮不能满足条件，所以就升级到第二层时间轮中，最终被插入第二层时间轮中时间格17所对应的TimerTaskList。当“收割机”线程获取DelayQueue中超时的任务列表TimerTaskList之后，既可以根据TimerTaskList的expiration来推进时间轮的时间，也可以就获取的TimerTaskList执行相应的操作，对里面的TimerTaskEntry该执行过期操作的就执行过期操作，该降级时间轮的就降级时间轮。
八、Kafka时间轮与常见问题
来xghuang666的专栏
07-26 1888
Kafka中存在大量的延时操作。1、发送消息-超时+重试机制2、ACKS 用于指定分区中必须要有多少副本收到这条消息，生产者才认为写入成功（延时 等）Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器（SystemTimer）JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(log(n))，并不能满足Kafka的高性能要求，而基于时间轮可以将插入和删除操作的时间复杂度都降为O(1)。
时间轮算法理解、Kafka实现
最新发布
lonelymanontheway的博客
07-13 1445
时间轮、环形队列、Kafka实现
Kafka时间轮(TimerWheel)--算法简介
justlpf的专栏
04-26 1105
一个简单的时间轮是一个定时器任务桶的循环列表。让u作为时间单位。尺寸为n的时间轮有n个桶，可以在n*u的时间间隔内保存定时器任务。每个bucket保存属于相应时间范围的计时器任务。在开始时，第一个桶保存[0，u）的任务，第二个桶保存[u，2u），…的任务…，[u*（n-1），u*n）的第n个bucket。每个时间单位u的间隔，计时器滴答作响移动到下一个bucket，然后使其中的所有计时器任务过期。因此，计时器从不插入任务到当前时间的存储桶，因为它已经过期。计时器会立即运行已过期的任务。
时间轮在Kafka的实践
DiDi_Tech的博客
10-12 5123
桔妹导读：时间轮是一个应用场景很广的组件，在很多高性能中间件中都有它的身影，如Netty、Quartz、Akka，当然也包括Kafka，本文主要介绍时间轮在kafka的应用和实战，从核心...
跟Kafka学技术系列之时间轮
十年代码写十年
04-10 197
写在前面 kafka是一个分布式消息中间件，其高可用高吞吐的特点是大数据领域首选的消息中间件，Kafka是分布式消息队列的顺序读写文件分段组织串联起来思想的鼻祖，包括RocketMq这些消息队列都是借鉴了Kafka早期的架构和设计思路改造而来，所以在架构设计层面，Kafka有非常多值得借鉴的地方。本文是作者介绍Kafka优秀架构设计文章中的一篇，文中的代码和流程图均是base on 0.10.2...
使用kafka实现的java版时间轮.zip
05-29
使用kafka实现的java版时间轮.zip使用kafka实现的java版时间轮.zip使用kafka实现的java版时间轮.zip使用kafka实现的java版时间轮.zip使用kafka实现的java版时间轮.zip使用kafka实现的java版时间轮.zip使用kafka实现...
TimingWheel:Kafka时轮的Java实现
05-02
**计时轮（TimingWheel）**是计算机科学中一种高效的时间管理工具，广泛应用于定时任务调度、延迟消息处理等场景。在Kafka这样的分布式消息系统中，计时轮扮演着关键角色，帮助系统准确地管理和触发定时事件。本文将...
TimingWheel[时间轮]介绍1
08-03
Kafka中的时间轮实现称为TimingWheel，它优化了传统的定时任务处理方式，降低了时间复杂度从O(nlog(n))到O(1)。 1. **TimingWheel的基本原理** - **环形结构**：时间轮是一个环形的数组，数组的每个元素代表一个...
kafka增加客户端压测1
08-08
这说明了Kafka在处理大量并发请求时的吞吐量和响应时间之间的平衡。 计算导出的结果显示，每个消息大小约为64字节，通过将总消息数乘以单个消息大小然后转换为GB，可以估算出在3个分区上的数据量。例如，210并发时...
Apache Hadoop---Flink.docx
06-11
- **Kafka**：可以直接从Kafka消费数据，也可将结果写入Kafka。 - **HBase**：支持与HBase的数据交互，实现数据存储和检索。 - **Hadoop程序**：与Hadoop生态系统无缝集成。 - **Tachyon**、**Elasticsearch**、...
Kafka时间轮详解
三3三的博客
03-20 983
kafka时间轮详细讲解，图文并茂，浅显易懂
Kafka中时间轮分析与Java实现
justlpf的专栏
04-19 1094
https://www.cnblogs.com/softlin/p/7426083.html在Kafka中应用了大量的延迟操作但在Kafka中 并没用使用JDK自带的Timer或是DelayQueue用于延迟操作，而是使用自己开发的DelayedOperationPurgatory组件用于管理延迟操作，Kafka这类分布式框架有大量延迟操作并且对性能要求及其高，而java.util.Timer与java.util.concurrent.DelayQueue的插入和删除时间复杂度都为对数阶O(log n)并不
Kafka 时间轮(TimingWheel)原理，值得借鉴
m0_71777195的博客
09-06 137
也就是说，如果currentTime=0Ms时进来一个21Ms的延迟任务，就需要创建更高一级的时间轮，但是如果currentTime=1Ms时进来一个21Ms的延迟任务，就可以直接把它放到0号槽中，当currentTime=21时，指针又指向0号槽。也就是第二层时间轮每一个槽所能表示的时间是第一层时间轮所能表示的时间范围，也就是20Ms。值得注意的是，只有当前时间轮无法容纳目标延迟任务所能表示的时间时，才需要创建更高一级的时间轮，或者说把该任务加到更高一级的时间轮中(如果该时间轮已创建)。
时间轮(TimingWheel)算法简介 -- 及时间轮在Kafka的实践
justlpf的专栏
04-18 1418
kafka的延迟队列使用时间轮实现，能够支持大量任务的高效触发，但是在kafka延迟队列实现方案里还是看到了delayQueue的影子，使用delayQueue是对时间轮里面的bucket放入延迟队列，以此来推动时间轮滚动，但是基于将插入和删除操作则放入时间轮中，将这些操作的时间复杂度都降为O(1)，提升效率。Kafka对性能的极致追求让它把最合适的组件放在最适合的位置。
[从源码学设计]蚂蚁金服SOFARegistry之时间轮的使用
罗西的思考
12-16 410
在我们的业务系统和日常开发之中，定期任务是一个常见的需求。即有普通需求，也有特殊业务需求。本文和下文就以 SOFARegistry 为例，看看阿里是如何实现定期任务的。这里会结合业务来进行讲解。
springboot 整合Kafka的时间轮实现延时
07-17
你可以使用Spring Boot来整合Kafka和时间轮来实现延时处理。下面是一个简单的示例： 首先，确保你已经在Spring Boot项目中添加了Kafka的依赖。可以在pom.xml文件中添加如下依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> ``` 接下来，创建一个Kafka生产者来发送延时消息。你可以使用`KafkaTemplate`来发送消息。这是一个简单的示例： ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.stereotype.Component; @Component public class KafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendDelayedMessage(String topic, String message, long delay) { kafkaTemplate.send(topic, message).get(delay, TimeUnit.MILLISECONDS); } } ``` 在这个示例中，`sendDelayedMessage`方法接受一个`topic`、消息内容`message`和延时时间`delay`（以毫秒为单位）。它使用`KafkaTemplate`发送消息，并设置了延时时间。 接下来，创建一个Kafka消费者来处理延时消息。你可以使用`@KafkaListener`注解来监听指定的topic并处理消息。这是一个简单的示例： ```java import org.springframework.kafka.annotation.KafkaListener; import org.springframework.stereotype.Component; @Component public class KafkaConsumer { @KafkaListener(topics = "your-topic") public void receiveMessage(String message) { // 处理收到的消息 System.out.println("Received message: " + message); } } ``` 在这个示例中，`receiveMessage`方法使用`@KafkaListener`注解来监听名为"your-topic"的Kafka主题，并在收到消息时进行处理。 最后，你可以在需要发送延时消息的地方调用`KafkaProducer`的`sendDelayedMessage`方法，将延时消息发送到Kafka中。 注意：这只是一个简单的示例，实际应用中可能需要更复杂的逻辑来处理延时消息。你可能需要使用时间轮算法来管理延时消息的触发和删除。你可以在项目中引入第三方库来实现时间轮的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值