kafka
luslin1711
这个作者很懒,什么都没留下…
展开
-
kafka-demo 7 偏移量
7 偏移量代码地址:https://github.com/luslin1711/kafka_demo/tree/master/kafka_demo_07一、同步与异步组合提交偏移量一般情况下,针对偶尔出现的提交失败,不进行重试不会有太大问题,因为如果提交失败是因为临时原因导致的,那么后续的提交总会有成功的。但如果这是在关闭消费者前的最后一次提交,就要确保能够提交成功因此,在消费者关闭前一般会组合使用commitAsync() 与commitSync()public void run() {原创 2020-10-20 15:15:03 · 151 阅读 · 0 评论 -
kafka-demo 6 分区再均衡
6 分区再均衡代码地址:https://github.com/luslin1711/kafka_demo/tree/master/kafka_demo_06消费者群组里的消费者共同读取主题的分区。一个新的消费者加入群组时,它读取的是原来由其他消费者读取的消息。当一个消费者被关闭或者发生崩溃时,他就离开群组,原本由它读取的分区将由群组里的其他消费者读取。在主题发生变化时,如添加了新的分区,也会发生分区重分配。分区的所有权从一个消费者转移到另一个消费者,这被称为再均衡。再均衡非常重要,它为消费者群组带来了原创 2020-10-20 15:14:14 · 150 阅读 · 0 评论 -
kafka-demo 5 消费者组的功能
5 消费者组的功能代码地址:https://github.com/luslin1711/kafka_demo/tree/master/kafka_demo_05kafka 消费者从属于消费者群组。 一个群组里的消费者订阅的是同一主题。 每个消费者接收主题的一部分。分区与消费者群组的数量关系:1 分区数 > 消费者数 某些消费者可能会订阅多个分区的内容2 分区数 = 消费者数 一个消费者订阅一个分区的内容3 分区数 < 消费者数 一个消费者订阅一个分区的内容, 多余的消费原创 2020-10-20 15:13:38 · 166 阅读 · 0 评论 -
kafka-demo 4 分区与自定义分区器
4 分区与自定义分区器代码地址:https://github.com/luslin1711/kafka_demo/tree/master/kafka_demo_04ProducerRecord 对象 有多个构造方法, 常用的有public ProducerRecord(String topic, Integer partition, K key, V value) { this(topic, partition, null, key, value, null); }publi原创 2020-10-20 15:12:43 · 158 阅读 · 0 评论 -
kafka-demo 3 生产者发送消息的同步与异步
3 生产者发送消息的同步与异步代码地址:https://github.com/luslin1711/kafka_demo/tree/master/kafka_demo_03producer.send() 返回的是Future 对象。 可以通过 Future 对象同步或是异步获取结果public interface Future<V> { /** * Attempts to cancel execution of this task. This attempt will原创 2020-10-20 15:11:37 · 496 阅读 · 0 评论 -
kafka-demo 2 自定义serializer
2 自定义serializer代码地址:https://github.com/luslin1711/kafka_demo/tree/master/kafka_demo_02一、序列化与反序列化一般情况下,我们传递的value都是自己定义的结构。 如果想让kafka识别这些数据结构, 需要实现org.apache.kafka.common.serialization.Serializer 接口。public interface Serializer<T> extends Closeable原创 2020-10-20 15:10:15 · 327 阅读 · 0 评论 -
kafka-demo 1 快速开始
1 快速开始一、kafka集群部署使用docker-compose 文件进行项目部署version: '3'services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka1: image: wurstmeister/kafka depends_on: [ zookeeper ] ports: - "9092:9092" envir原创 2020-10-20 15:08:18 · 162 阅读 · 0 评论