kafka
岚天逸剑
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka server transport: Consume get error:kafka: client has run out of available brokers to talk to:
解决Kafka客户端报错"no available brokers: EOF"的方法:该错误是由于实例化消费者时指定了版本号导致。经排查发现只需去掉版本号的设置即可恢复正常连接。该方案简单有效,为类似Kafka连接问题提供了参考解决方案。原创 2025-11-12 12:31:37 · 173 阅读 · 0 评论 -
基于Kafka的延迟队列
Kafka延迟队列实现方案 该方案通过多Topic方式实现Kafka延迟队列功能: 实现原理 每个Topic对应特定延迟时间(如delay-100ms、delay-1000ms) 生产者按延迟时长将消息投递到对应Topic 消费者检查消息时间戳,未到延迟时间则休眠等待 核心组件 消费者:通过计算(消息时间戳+Topic延迟时间)确定处理时间,实现精确延迟 生产者:内置延迟时长校验,确保只发送到预定义的延迟Topic 特点 简单易实现,无需额外依赖 支持多级延迟配置 消费者支持优雅关闭处理 方案适用于需要简单原创 2025-08-27 19:24:48 · 533 阅读 · 0 评论 -
librdkafka的rdk:broker-1线程cpu百分百问题分析
暂时怀疑 clock_gettime 调用出问题了,实现在最新的代码中没有变化:https://github.com/confluentinc/librdkafka/blob/master/src/tinycthread.c。进一步验证是发生在 clock_gettime,单独断点 gettimeofday 没有问题,而且不会进入 gettimeofday。函数 pthread_cond_timedwait 的参数 abstime 是个绝对时间,不是相对时间。很明显 tspec 不对,。原创 2023-07-13 17:01:09 · 2721 阅读 · 0 评论 -
librdkafka线程CPU百分百问题分析
只有一个 rdk:broker-1 线程的 cpu 满,其它的都正常,另一个 rdk:broker-1 线程的 PID 为 18。观察正常情况下两个 rdk:broker-1 线程的 PID 分别为 16 和 17,问题发生时为 17 和 18,不知道是不是发生了退出重新创建两个 rdk:broker-1 线程。**主:**新版本已无该函数。原创 2023-02-27 15:28:35 · 900 阅读 · 2 评论 -
librdkafka 退不出来问题分析
故障时的线程(gdb) info thread Id Target Id Frame 8 Thread 0x7f469fa66700 (LWP 31069) "rdk:main" 0x00007f46a1c83027 in pthread_join () from /lib64/libpthread.so.0 7 Thread 0x7f469ea64700 (LWP 31071) "rdk:broker1" 0x00007f46a0b5cc5d in pol.原创 2021-07-28 17:29:16 · 776 阅读 · 0 评论 -
Kafka错误“Network is unreachable”和“larger than available brokers”
确定Kafka安装和启动正确,ZooKeeper可以查到所有的Brokers,但执行:kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic遇到如下错误:java.net.SocketException: N原创 2017-06-26 17:34:39 · 2708 阅读 · 1 评论 -
Kafka C++客户端库librdkafka笔记
目录目录 11. 前言 22. 缩略语 23. 配置和主题 33.1. 配置和主题结构 33.1.1. Conf 33.1.2. ConfImpl 33.1.3. Topic 33.1.4. TopicImpl 34. 线程 45. 消费者 55.1. 消费者结构 55.1.1. Handle 55.1.2. HandleImpl 55....原创 2018-05-03 19:09:06 · 14483 阅读 · 0 评论 -
Kafka常用命令收录
目录目录 11.前言 22.Broker默认端口号 23.安装Kafka 24.启动Kafka 25.创建Topic 26.列出所有Topic 37.删除Topic 38.查看Topic 39.增加topic的partition数 410.生产消息 411.消费消息 412.查看有哪些消费者Group 413.查看新...原创 2018-09-09 18:07:13 · 18063 阅读 · 2 评论
分享