kafka 配置参数记录

1-fetch.min.bytes
配置Consumer在一次拉取请求(调用poll()方法)中能从kafka中拉取的最小量,默认值1B。如果返给Consumer的数据量小于该值则等待,直到满足这个参数。
调大可以增加吞吐量,但是会延迟。

2-fetch.max.bytes
配置Consumer在一次拉取中获取的最大数据量,默认值50M。
若非空分区第一条消息大于设置值,也可以正常消费,kafka接收消息的的最大值通过服务端message.max.bytes来设置。

3-fetch.max.wait.ms
指定kafka的等待时间,默认值是500ms。
如果一值不满足拉取数据最小量,则等待该设置时间返回,与延迟有关。

4-max.patition.fetch.bytes
配置每个分区返回给Consumer的最大数据量,默认值 1M。每次拉取消息分区的最大消息量。

5-max.poll.records
配置一次拉取请求中最大的消息数,默认500条。

6-connection.max.idle.ms
指定多久之后关闭闲置连接,默认540000ms,即9分钟。

7-exclude.internal.topics
指定内部主题是否向消费者公开,默认false。
如果设置true,只能用subscribe(Collection)方式订阅内部主题。

8-receive.buffer.bytes
设置Socket接收消息缓冲区(SO_RECBUF)的大小,默认65336B,64KB。
设置为-1则使用默认值。

9-send.buffer.bytes
设置Socket发送消息缓冲区(SO_SNDBUF),默认131072B,即128KB。

10-request.timeout.ms
设置Consumer等待请求相应的最长时间,默认30000 ms。

11-metadata.max.age.ms
配置元数据过期时间,默认 3000 ms,即5分钟。

12-reconnect.backoff.ms
设置尝试重连主机之间的等待时间,默认 50 ms。

13-retry.backoff.ms
设置重新发送失败请求到指定主题分区的等待时间,默认 100 ms 。

14-isolation.level
设置消费者事务隔离级别。
详细内容待补充。

Spring Boot提供了以下Kafka配置参数: 1. spring.kafka.bootstrap-servers:Kafka集群的地址列表,用逗号分隔。 2. spring.kafka.client-id:Kafka客户端ID,默认为空。 3. spring.kafka.consumer.auto-commit-interval:自动提交偏移量的时间间隔(毫秒)。默认值为5000。 4. spring.kafka.consumer.auto-offset-reset:当服务器上没有初始偏移量或当前偏移量不可用时,应该从哪里开始消费。可选值为latest(从最新记录开始消费)或earliest(从最早的记录开始消费)。默认为latest。 5. spring.kafka.consumer.enable-auto-commit:是否启用自动提交偏移量。默认为true。 6. spring.kafka.consumer.fetch-max-wait:等待从Kafka获取消息的最长时间(毫秒)。默认为500。 7. spring.kafka.consumer.group-id:这个消费者所属的消费者组ID。 8. spring.kafka.consumer.key-deserializer:键的反序列化程序类。 9. spring.kafka.consumer.value-deserializer:值的反序列化程序类。 10. spring.kafka.listener.concurrency:侦听器容器的并发性级别。默认为1。 11. spring.kafka.producer.acks:producer期望从broker收到的确认数。可选值为0(不需要确认),1(需要确认leader),all(需要确认所有副本)。默认为1。 12. spring.kafka.producer.batch-size:单个批次的大小(字节)。默认为16384。 13. spring.kafka.producer.bootstrap-servers:Kafka集群的地址列表,用逗号分隔。 14. spring.kafka.producer.buffer-memory:生产者可以使用的总内存字节来缓冲消息。默认为33554432。 15. spring.kafka.producer.compression-type:消息压缩类型(gzip,snappy或lz4)。默认为none。 16. spring.kafka.producer.key-serializer:键的序列化程序类。 17. spring.kafka.producer.retries:在抛出异常之前重试发送消息的次数。默认为0。 18. spring.kafka.producer.value-serializer:值的序列化程序类。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值