![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 74
Kafka相关内容
蜗牛^_^
学无止境
展开
-
Kafka 命令总结
//列出所有的topickafka-topics --zookeeper localhost:2181 --list//查看指定topic的分区、副本情况kafka-topics --zookeeper localhost:2181 --topic test_topic --describe//消费某个topic,可以从头消费,也可以指定分区或带过滤条件消费kafka-console-consumer --bootstrap-server localhost:9092 --topic test_原创 2021-02-06 08:42:09 · 440 阅读 · 0 评论 -
获取Kafka topic指定时间段的数据
需求:给定topic,获取某个时间段某些过滤条件下的数据。思路:1)获取分区和offset,通过命令查询,类似kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test_topic --partition 1 --offset 255129 | grep "test"; 2)将topic接入elk,通过kibana可视化查询或es接口调用查询; 3)代码实现。 ...原创 2020-11-23 11:16:15 · 11265 阅读 · 4 评论 -
Kafka报错org.apache.kafka.common.errors.RecordTooLargeException
Kafka报错:org.apache.kafka.common.errors.RecordTooLargeException: There are some messages at [Partition=Offset]: {testTopic-0=25537140} whose size is larger than the fetch size 1048576 and hence canno...原创 2020-01-15 17:30:49 · 4248 阅读 · 1 评论 -
Kafka删除topic
思路topic中的元数据存储在ZooKeeper中的/brokers/topics和/config/topics路径下,topic中的消息数据存储在log.dir或log.dirs配置的路径下,所以删除topic就需要删除这些路径下的内容。准备工作创建topic:bin/kafka-topics.sh --create --zookeeper bigdata-pro01.wn.co...原创 2019-09-26 10:36:04 · 2297 阅读 · 0 评论 -
Kafka生产者理解
目录生产逻辑参数说明发送消息模式代码实现序列化器分区器生产者客户端的内部原理参考资料生产逻辑1)配置生产者客户端参数及创建相应的生产者实例;2)构建待发送的消息;3)发送消息;4)关闭生产者实例。参数说明1)bootstrap.servers:指定连接Kafka 集群所需的broker 地址清单,具体的内容格式为hostl:port...原创 2019-10-10 14:54:25 · 259 阅读 · 0 评论 -
Kafka消费者理解
目录消费者与消费组分区分配策略消费逻辑参数说明消费位置位移提交方式参考资料消费者与消费组消费组是一个逻辑上的概念,它将旗下的消费者归为一类,每一个消费者只隶属于一个消费组。每一个消费组都会有一个固定的名称,消费者在进行消费前需要指定其所属消费组的名称,这个可以通过消费者客户端参数group.id 来配置,默认值为空宇符串。消费者(Consumer)负责...原创 2019-10-12 17:52:30 · 376 阅读 · 0 评论