kafka
文章平均质量分 68
黑皮爱学习
爱学习,爱分享!
展开
-
springboot和kafka快速整合代码示例,三种方式使用默认配置、自定义配置、手动提交配置
目录1、第一种方式,使用默认配置注解开发,简单实用1.1、引入maven1.2、基本配置1.3、生产者,使用KafkaTemplate发送消息1.4、消费者,使用@KafkaListener注解2、不使用默认配置,使用自定义参数,自动提交2.1 基本配置2.2、生产者配置2.3、生产者生产消息2.4、消费者配置2.5、消费者消费3、不使用默认配置,使用自定义参数,手动提交3.1 基本配置和生产配置同2.1-2.33.2 消费者配置手动提交3.3、消原创 2021-05-16 16:57:19 · 1555 阅读 · 0 评论 -
独立消费者不订阅主题,自己分配分区代码示例
优雅退出 如果确定要退出循环,需要通过另一个线程调用 consumer. wakeup()方法。如果循环运行在主线程里,可以在 ShutdownHook 里调用该方法。要记住, consumer. wakeup()是消费者唯一一个可以从其他线程里安全调用的方法。调用 consumer. wakeup()可以退出 poll(),并抛出 WakeupException 异常。我们不 需要处理 Wakeup Exception,因为它只是用于跳出循环的一种方式。不过,在退出线程之前调用 consume原创 2021-05-10 21:58:33 · 148 阅读 · 1 评论 -
kafka消费者提交偏移量的方式对比同步、自动、异步、组合提交等、基本代码实现、以及他们导致的问题
1 基本概念提交:消费者消费完消息之后,更新自己消费那个消息的操作 _consumer_offset:消费者消费完消息之后,会往_consumer_offset主题发送消息,_consumer_offset保存每个分区的偏移量 分区再均衡:消费者的数量发生变化,或者主题分区数量发生变化,会修改消费者对应的分区关系,叫做分区再均衡:保证kafka高可用和伸缩性;缺点:在均衡期间,消费者无法读取消息,群组短时间不可用2 提交方式2.1 自动提交1)如果提交的...原创 2021-05-09 23:31:51 · 3542 阅读 · 1 评论 -
kafka自定义生产者分区器、自定义消费者分区器
目录1、默认分区1.1 键key的作用1.2 键的分区2、自定义分区2.1 使用场景分析2.2 自定义分区器要实现Partitioner接口2.3 生产者使用分区器1、默认分区1.1 键key的作用决定消息在主题的哪个分区 作为消息的附加信息1.2 键的分区如果key=null,并且采用默认分区器,就会轮询均匀分布在各个分区如果key不为null,使用默认分区,会计算散列值,所以同一个key每次都会落到同一个分区上;如果增加了分区,就无法保证落到同一个分区原创 2021-05-07 10:07:21 · 884 阅读 · 1 评论 -
java最简单的kafka生产者和消费者,未结合spring
目录1、引入maven2、基本的生产者和代码注释3、最简单消费者1、引入maven<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.3.0</version></dependency>2、基本的生产者和代码注释原创 2021-05-06 19:44:31 · 709 阅读 · 0 评论 -
windows搭建kafka集群
目录1、首先zookeeper和kafka2、启动zookeeper3、配置kafka集群3.1 将kafka解压,然后复制三分3.2 在每个kafka的文件下的config目录下,有server.properties文件3.3 分别启动三个kafka3.4 把三个卡夫卡都启动成功之后,在zookeeper就会出现以下节点1、首先zookeeper和kafkazookeeper下载地址:https://downloads.apache.org/zookeeper/ka原创 2021-04-17 10:47:58 · 550 阅读 · 0 评论