思考、总结、专注

1. maven依赖包<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.9.0.1</version></dependency&gt

之前介绍了如何在SpringBoot中集成Kafka,但是默认情况下，@KafkaListener都是一条一条消费，如果想要一次消费一个批量的话，我们都知道，在kafka原生的API可以通过poll(num)来获取一次获取num条消息：那么使用在Springboot中使用@KafkaListener能否实现批量监听呢？看了spring-kafka的官方文档介绍，可以知道自1.1版本之后，@Kafk...

kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。 尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。 考虑这样一个case，partiton_num=2，启动一个consumer进程订阅这...

本文采用Maxwell来实现实时解析mysql的binlog日志发送至kafka1、开启mysql binlog环境中mysql是docker容器,所以需要进入容器修改mysql配置. docker exec -it ef07dab4da9d bash 然后进入/etc/mysql/ 修改my.cnf 增加如下内容 server-id=1 log-bin=m...

引入相关依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId></dependency><dependency> <gr

pom依赖12345678910<dependency>    <groupId>org.apache.kafka</groupId>    <artifactId>kafka-clients</artifactId>    <version>0.10.2.0</version></dependenc

一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成...

1、Consumer Group 与 topic 订阅每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Group，也就好像是这条message被广播到每个Consumer Group一样。而每个Consumer Group中，类似于...

第一步：使用./kafka-topics.sh 命令创建topic及partitions 分区数bin/kafka-topics.sh --create --zookeeper 192.168.31.130:2181 --replication-factor 2 --partitions 3 --topic Topic-test 第二步：实现org.apache.kafka.clients.pr...

对Kafka offset的管理，一直没有进行系统的总结，这篇文章对它进行分析。 什么是offsetoffset是consumer position，Topic的每个Partition都有各自的offset.Keeping track of what has been consumed, is, surprisingly, one of the key performance points of ...

1.1.       主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能：　　1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因　　2：It lets you store streams of records in...

昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果还真不是，具体含义如下：auto.offset.res...