![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 97
迷路剑客
弱小和无知不是生存的障碍,傲慢才是。
展开
-
Kafka-Consumer指定消费者offset及消费条数
Kafka-Consumer指定消费者offset及消费条数摘要依赖引入代码实现更多好文摘要本文会给出一个KafkaConsumer指定消费者offset及消费条数的java demo,基于Kafka 1.1.1。依赖引入<dependency> <groupId>org.apache.kafka</groupId> <artifactId&g...原创 2019-12-11 10:08:24 · 7040 阅读 · 0 评论 -
Kafka-常见问题
Kafka-0.8.2.1常见问题Consumer报错问题描述:WARN [console-consumer-23149_hadoop2-1476872289945-6edaec5e-leader-finder-thread], Failed to add leader for partitions [filelog_v3_json_test_1019,13],....; will ...原创 2018-09-28 15:57:03 · 6916 阅读 · 0 评论 -
Kafka学习
Kafka学习0x01 摘要本文是一篇Kafka学习的综述。0x02 Kafka是什么2.1 基本概念2.2 可用性和持久性保证Kafka生产者中有一个很重要的配置项:request.required.acks不同的值决定生产者发送消息后不同的等待行为,这就影响着写入kafka的数据可靠性和持久性保证,具体来说如下:request.required.acks含义使用场...原创 2018-11-07 17:03:55 · 2324 阅读 · 2 评论 -
Kafka-topicCountMap
Kafka-topicCountMap本文转自聊聊kafka0.8的topic的partition以及topicCountMaptopicCountMap告诉Kafka我们在Consumer中将用多少个线程来消费该topic。topicCountMap的key是topic name,value针对该topic是线程的数量。假设有个topic,有6个partiton,然后启动了两个consu...转载 2018-11-19 22:32:09 · 654 阅读 · 2 评论 -
Kafka-0.8.2.x Consumer API
Kafka-0.8.2.x Consumer API摘要本文主要说下此版本消费者API重要的一些代码含义。0x01 完整例子1.1 Consumer消费代码class ConsumerTest implements Runnable { private KafkaStream m_stream; private int m_threadNumber; publ...原创 2018-12-11 15:34:45 · 1017 阅读 · 0 评论 -
Kafka水位(HW)与leader epoch的讨论
Kafka水位(HW)与leader epoch的讨论转载声明:本文系转载自以下两篇文章:Kafka水位(high watermark)与leader epoch的讨论作者: huxihx转载仅为方便学习查看,一切权利属于原作者,本人只是做了整理和排版,如果带来不便请联系我删除。摘要本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说...转载 2018-12-11 18:46:32 · 2798 阅读 · 3 评论