kafka使用记录

kafka工具：offset

连接配置；
advanced：配置节点的IP或映射的host及端口

单个topic的配置
config：message.timestamp.type=CreateTime

生产者
集群生产数据一致性：ack
0：不处理
1：leader节点响应提交成功
-1：所有节点响应则提交成功
失败：retrie，

消费者：
堆积处理：
1、在原来的基础上，启动新的groupId，消费堆积新的数据，直到堆积部分消费完成；
2、添加分区，添加消费者分别消费分区，增加并发消费量

groupId：kafka通过groupId来标志消费者，当groupid发生改变，数据会重新消费
offset设置：latest 从最新的数据开始消费
earliest 从最早的数据开始消费

代码相关，基于springboot+maven
引入kafka的包

org.springframework.kafka
spring-kafka

配置文件配置相关信息：

生产者相关配置：
producer:
# 发生错误后，消息重发的次数。
retries: 0
#当有多个消息需要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小，按照字节数计算。
batch-size: 16384
# 设置生产者内存缓冲区的大小。
buffer-memory: 33554432
# 键的序列化方式
key-serializer: org.apache.kafka.common.serialization.StringSerializer
# 值的序列化方式
value-serializer: org.apache.kafka.common.serialization.StringSerializer
# acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。
# acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。
# acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。
acks: 1

消费者相关配置
consumer:
# 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式，如1S,1M,2H,5D
auto-commit-interval: 1S
# 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理：
# latest（默认值）在偏移量无效的情况下，消费者将从最新的记录开始读取数据（在消费者启动之后生成的记录）
# earliest ：在偏移量无效的情况下，消费者将从起始位置读取分区的记录
auto-offset-reset: earliest
# 是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量
enable-auto-commit: false
# 键的反序列化方式
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
# 值的反序列化方式
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
listener:
# 在侦听器容器中运行的线程数。
concurrency: 5
#listner负责ack，每调用一次，就立即commit
ack-mode: manual_immediate
missing-topics-fatal: false
#当kafka需要账号时，添加额外相关配置
properties:
security:
protocol: SASL_PLAINTEXT
sasl:
mechanism: SCRAM-SHA-512
jaas:
config: ‘org.apache.kafka.common.security.scram.ScramLoginModule required username=“xxx” password=“xxx”;’