kafka
文章平均质量分 54
一个想努力学技术的程序员
我本想不加班,结果天天加班
展开
-
Kafka 再均衡(rebalance)触发的条件
新版的消费者客户端对此进行了重新设计,将全部消费组分成多个子集,每个消费组的子集在服务端对应一个GroupCoordinator对其进行管理,GroupCoordinator是Kafka服务端中用于管理消费组的组件。而消费者客户端中的ConsumerCoordinator组件负责与GroupCoordinator进行交互。 ConsumerCoordinator与GroupCoordinator之间最重要的职责就是负责执行消费者再均衡的操作,包括前面提及的分区分配的工作也是在...原创 2021-10-21 09:30:39 · 5702 阅读 · 0 评论 -
Kafka:生产者拦截器与消费者拦截器
生产者拦截器 生产者拦截器既可以用来在消息发送前做一些准备工作,比如按照某个规则过滤不符合要求的消息,修改消息的内容等,也可以用来在发送回调逻辑前做一些定制化的需求,比如统计类工作。 生产者拦截器的使用也很方便,主要是自定义实现 org.apache.kafka.clients.producer.ProducerInterceptor接口。ProducerInterceptor接口中包含3个方法: KafkaProducer在将消息序列化和计算分区之前会调用生产者...原创 2021-10-09 09:12:43 · 5212 阅读 · 0 评论 -
Kafka-指定位移消费
当一个新的消费组建立的时候,它根本没有可以查找的消费位移,或者消费组的内一个新消费者订阅了一个新的主题,它也没有可以查找的消费位移,当_consumer_offsets主题内有关这个消费组的位移信息过期而被删除以后,它也没有可以查找的消费位移。 在Kafka中,每当消费者查找不到所记录的消费位移时,就会根据消费者客户端参数auto.offset.reset的配置来决定从何处开始进行消费,这个参数的默认值为“latest”,此参数有以下三个值可以选择。 “latest”:...原创 2021-09-30 09:16:16 · 5708 阅读 · 0 评论 -
初识Kafka:基本概念
一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer,以及一个ZooKeeper集群,如下图所示。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker,Broker负责将收到的消息存储到磁盘中,而Consumer负责从Broker订阅并消费消息。 (1)Producer:生产者,也就是发送消息的一方。生产者负责创建消息,然后将其投递到Kafka中。 (2)Consumer:消费者.原创 2021-09-27 09:44:54 · 5226 阅读 · 0 评论 -
kafka 常用命令
本人接触kafka也有一段时间,记录一下常用的一些命令,便于工作中使用,只是简单整理了几个常用命令,欢迎大家继续补充 1 启动kafka服务 ./bin/kafka-server-start.sh config/server.properties & 2 手动创建topic sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic 名称 3 向top原创 2021-03-30 16:28:23 · 5724 阅读 · 0 评论