springboot集成kafka：一、通过配置文件自动装配

最新推荐文章于 2024-06-13 09:42:37 发布

西柚感觉日了狗

最新推荐文章于 2024-06-13 09:42:37 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/weixin_46254728/article/details/123111553

版权

kafka 同时被 3 个专栏收录

7 篇文章 0 订阅

订阅专栏

spring boot

4 篇文章 0 订阅

订阅专栏

spring cloud

3 篇文章 0 订阅

订阅专栏

1.引入依赖

<dependency>
   <groupId>org.springframework.kafka</groupId>
   <artifactId>spring-kafka</artifactId>
</dependency>

2.application.yml新增

spring:
  application:
    name: KafkaTest
  kafka:
    producer:
      bootstrap-servers: 1.1.1.1
      retries: 0
      acks: 1 
      batch-size: 16384 #16K
      buffer-memory: 33554432 #32M
      properties:
        linger.ms: 0
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
    consumer:
      bootstrap-servers: 1.1.1.1
      group-id: TestGroup
      enable-auto-commit: true
      auto-commit-interval: 1000
      auto-offset-reset: latest
      key-deserializer: org.apache.kafka.common.serialization.StrinDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      properties:
        session.timeout.ms: 30000 #consumer健康检查心跳，默认10s
        max.poll.interval.ms: 300000 #获取消息后提交偏移量的时间限制，默认也是5min
    listener:
      #指定特殊的消费模式，一般的自动提交偏移量不需要配置
      #RECORD :当listener一读到消息，就提交offset
      #BATCH: poll() 函数读取到的所有消息,就提交offset
      #TIME: 当超过设置的ackTime ，即提交Offset
      #COUNT ：当超过设置的COUNT，即提交Offset
      #COUNT_TIME ：TIME和COUNT两个条件都满足，提交offset
      #MANUAL ： Acknowledgment.acknowledge()提交Offset，和Batch类似
      #MANUAL_IMMEDIATE： Acknowledgment.acknowledge()被调用即提交Offset
      ack-mode: record

注1:以上多项配置均有默认值，无需调整
producer必须属性：bootstrap-servers key-serializer value-serializer
consumer必须属性：同producer，另最好指定group.id

3.使用

	private final static String TOPIC_NAME = "test_topic";

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    @RequestMapping("/sendTest")
    public void sendTest() {
        kafkaTemplate.send(TOPIC_NAME, UUID.randomUUID().toString(), "test message send~");
    }

    @KafkaListener(topics = "test_topic",id = "test-consumer")
    public void listen(ConsumerRecord<String, String> record) {
        System.out.println(record.value());
    }

4.配置详解（包括上面没写的额外配置）

producer

retries：发送失败时，指定生产者可以重发消息的次数。缺省0代表不重试。若开启重试，可以通过参数retry.backoff.ms参数来改变重试发送的时间间隔。

acks：描述producer如何认为消息发送成功了，该参数十分重要，影响消息丢失的可能性

acks=0：生产者在写入消息之前不会等待任何来自服务器的响应，容易丢消息，但是吞吐量高。
acks=1：只要集群的首领节点收到消息，生产者会收到来自服务器的成功响应。如果消息无法到达首领节点（比如首领节点崩溃，新首领没有选举出来），生产者会收到一个错误响应，为了避免数据丢失，生产者会重发消息。不过，如果一个没有收到消息的节点成为新首领，消息还是会丢失。默认使用这个配置。
acks=all：只有当所有参与复制的节点都收到消息，生产者才会收到一个来自服务器的成功响应。延迟高。

batch-size:
当多个消息被发送同一个分区时，生产者会把它们放在同一个批次里。producer实例ProducerRecord（元数据+消息内容）假如为1K，则一个batch最大包括15条消息，即为15*ProducerRecord+BatchHead

linger.ms
指定了生产者在发送批次前等待更多消息加入批次的时间。它和batch.size以先到者为先。也就是说，一旦我们获得消息的数量够batch.size的数量了，他将会立即发送而不顾这项设置，然而如果我们获得消息字节数比batch.size设置要小的多，我们需要“linger”特定的时间以获取更多的消息。这个设置默认为0，即没有延迟。设定linger.ms=5，例如，将会减少请求数目，但是同时会增加5ms的延迟，但也会提升消息的吞吐量。

buffer.memory
设置生产者内存缓冲区的大小，生产者用它缓冲要发送到服务器的消息。如果数据产生速度大于向broker发送的速度，导致生产者空间不足，producer会阻塞或者抛出异常。缺省33554432

max.block.ms
指定了在调用send()方法或者使用partitionsFor()方法获取元数据时生产者的阻塞时间。当生产者的发送缓冲区已满，或者没有可用的元数据时，这些方法就会阻塞。在阻塞时间达到max.block.ms时，生产者会抛出超时异常。缺省60000ms

receive.buffer.bytes和send.buffer.bytes
指定TCP socket接受和发送数据包的缓存区大小。如果它们被设置为-1，则使用操作系统的默认值。如果生产者或消费者处在不同的数据中心，那么可以适当增大这些值，因为跨数据中心的网络一般都有比较高的延迟和比较低的带宽。缺省102400

compression.type
producer用于压缩数据的压缩类型。默认是无压缩。正确的选项值是none、gzip、snappy。压缩最好用于批量处理，批量处理消息越多，压缩性能越好。snappy占用cpu少，提供较好的性能和可观的压缩比，如果比较关注性能和网络带宽，用这个。如果带宽紧张，用gzip，会占用较多的cpu，但提供更高的压缩比。

client.id
当向server发出请求时，这个字符串会发送给server。目的是能够追踪请求源头，以此来允许ip/port许可列表之外的一些应用可以发送信息。这项应用可以设置任意字符串，因为没有任何功能性的目的，除了记录和跟踪。

max.in.flight.requests.per.connection
指定了生产者在接收到服务器响应之前可以发送多个消息，值越高，占用的内存越大，当然也可以提升吞吐量。发生错误时，可能会造成数据的发送顺序改变,默认是5
如果需要保证消息在一个分区上的严格顺序，这个值应该设为1。不过这样会严重影响生产者的吞吐量。

request.timeout.ms
客户端将等待请求的响应的最大时间,如果在这个时间内没有收到响应，客户端将重发请求;超过重试次数将抛异常

metadata.fetch.timeout.ms
是指我们所获取的一些元数据的第一个时间数据。元数据包含：topic，host，partitions。此项配置是指当等待元数据fetch成功完成所需要的时间，否则会跑出异常给客户端

timeout.ms
此配置选项控制broker等待副本确认的最大时间。如果确认的请求数目在此时间内没有实现，则会返回一个错误。这个超时限制是以server端度量的，没有包含请求的网络延迟。这个参数和acks的配置相匹配。

max.request.size
控制生产者发送请求最大大小。假设这个值为1M，如果一个请求里只有一个消息，那这个消息不能大于1M，如果一次请求是一个批次，该批次包含了1000条消息，那么每个消息不能大于1KB。注意：broker具有自己对消息记录尺寸的覆盖，如果这个尺寸小于生产者的这个设置，会导致消息被拒绝。

consumer

enable.auto.commit
默认值true，表明消费者是否自动提交偏移。为了尽量避免重复数据和数据丢失，可以改为false，自行控制何时提交。

auto.offset.reset
当kafka中没有初始offset或offset失效时将自动重置offset
earliest:重置为分区中最小的offset;
latest:重置为分区中最新的offset(消费分区中新产生的数据);
none:组内所有消费者的分区中找不到已提交的offset,就抛出异常;
exception:抛出异常

fetch.min.bytes
每次fetch请求时，server应该返回的最小字节数。如果没有足够的数据返回，请求会等待，直到足够的数据才会返回。缺省为1个字节。多消费者下，可以设大这个值，以降低broker的工作负载

fetch.wait.max.ms
如果没有足够的数据能够满足fetch.min.bytes，则此项配置是指在应答fetch请求之前，server会阻塞的最大时间。缺省为500个毫秒。和上面的fetch.min.bytes结合起来，要么满足数据的大小，要么满足时间，就看哪个条件先满足。

max.partition.fetch.bytes
指定了服务器从每个分区里返回给消费者的最大字节数，默认1MB。假设一个主题有20个分区和5个消费者，那么每个消费者至少要有4MB的可用内存来接收记录，而且一旦有消费者崩溃，这个内存还需更大。注意，这个参数要比服务器的message.max.bytes更大，否则消费者可能无法读取消息。

session.timeout.ms
如果consumer在这段时间内没有发送心跳信息，则它会被认为挂掉了。默认3秒。

max.poll.interval.ms
获取消息后提交偏移量的时间限制，默认5min，超出consumer被认为挂掉

partition.assignment.strategy
分区分配给消费者的策略。系统提供两种策略。默认为Range。允许自定义策略。

Range
把主题的连续分区分配给消费者。例如，有主题T1和T2，各有3个分区，消费者C1和C2，则可能的分配形式为：
C1: T1(0，1),T2(0,，1)
C2: T1(2),T2(2)
RoundRobin
把主题的分区循环分配给消费者。例如，有主题T1和T2，各有3个分区，消费者C1和C2，则可能的分配形式为：
C1: T1(0，2),T2(1)
C2: T1(1),T2(0，2)
自定义策略
extends 类AbstractPartitionAssignor，然后在消费者端增加参数：
properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, 类.class.getName());即可。

max.poll.records
控制每次poll方法返回的的记录数量。

receive.buffer.bytes和send.buffer.bytes
指定TCP socket接受和发送数据包的缓存区大小。如果它们被设置为-1，则使用操作系统的默认值。如果生产者或消费者处在不同的数据中心，那么可以适当增大这些值，因为跨数据中心的网络一般都有比较高的延迟和比较低的带宽。

西柚感觉日了狗

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
springboot集成kafka：一、通过配置文件自动装配

1.引入依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>2.application.yml新增spring: application: name: KafkaTest kafka: producer: boot
复制链接

扫一扫

专栏目录