Kafka架构探险（三）——Kafka参数详解

Kafka提供很多的参数：broker参数、topic参数、producer参数、consumer参数等，方便我们对kafka的性能做调整，本博文就来归纳总结下常见的参数

参数的说明是基于Kafka 2.12-2.3.0版本

详细可以参考官网

broker参数

broker端的参数在Kafka目录下的config/server.properties文件中

参数名称	备注说明
broker.id	kafka的唯一标志，全局唯一，默认是-1，如果不指定，则自动生成，也是全局唯一
log.dirs	指定了kafka持久化消息的目录；可以是多个值，以逗号隔开；设置多个目录，可以提高系统的吞吐量
zookeeper.connect	kafka依赖的zookeeper的ip和port；可以是zookeeper集群，以逗号隔开
listeners	broker监听器，主要用于client连接broker使用，格式：协议://ip:port,协议://ip:port,协议包括：PLAINTEXT/SSL/SASL_SSL等，如果不指定，则默认所有的client都能连接broker
advertised.listeners	和listeners类似，主要用于laas环境下，在多网卡的环境中，可以设置该参数值提供给外网的client访问
log.retention.{hours/minutes/ms}	控制消息数据留存的时间,同时设置优先ms，默认留存时间是7d
log.retention.bytes	控制消息日志保存的大小，超过该值的大小，则kafka会自动清理该分区的过期日志端文件，默认值是1073741824，值为-1时，表示不会根据消息的大小来删除消息日志
num.network.threads	控制broker端在后台用于处理网络请求的线程数，默认是3
num.io.threads	控制broker端处理磁盘IO的线程数，默认是8
message.max.bytes	kafka接收最大消息的大小，默认是977kb
log.segment.bytes	topic的分区是以一堆segment文件存储的，这个控制每个segment的大小，会被topic创建时的指定参数覆盖
log.retention.check.interval.ms	周期性检查是否有日志符合删除的条件,默认值是300s
num.recovery.threads.per.data.dir	kafka broker启动的过程中会加载此节点上所有topic的log文件，如果数据量非常大会导致加载时间过长,通过修改该值可以加快加载的速度，默认值是1
unclean.leader.election.enable	是否允许非ISR中的副本被选举为leader，如果设置为true的话，broker端可能因日志截断而造成消息丢失
replication.factor	设置主题的副本数，一般使用default.replication.factor

topic参数

如果将broker参数看作是全局参数设置，那么topic参数就是局部参数设置，参数名称和broker中的参数名称是一致的，不过在topic中设置了，会覆盖broker中的参数设置，常见的有以下几种：

参数名称	备注说明
message.max.bytes	覆盖全局的 message.max.bytes，即为每个topic指定不同的最大消息的大小
retention.bytes	覆盖全局的log.retention.bytes 每个topic设置不同的消息留存大小

producer参数

消息生产者发送消息到kafka指定的topic中,所以producer端的参数大多跟topic和消息有关

参数名称	备注说明
key.serializer	消息序列化，可以指定系统已经提供的序列化方式，也可以自定义序列化方式 ，自定义需要实现org.apache.kafka.common.serialization.Serializer接口，参数值是序列化处理器的全路径名
value.serializer	跟key.serializer一样
acks	控制producer生产消息的持久性，值范围有0、1、all
buffer.memory	指定producer端用于缓存消息的缓冲区大小，单位是字节，默认是32MB
compression.type	消息压缩的类型,默认是none,值范围：GZIP、Snappy、LZ4
retries	消息重试的次数
batch.size	producer端批量发送消息的批大小
request.timeout.ms	broker响应producer端的超时时间大小,默认是30s
max.block.ms	内存缓冲区在填满时，producer处于阻塞状态，并停止接收新的消息而不是抛出异常
max.in.flight.requests.per.connection	限制了producer在单个broker链接上能否发送的未响应请求的数量，如果设置成1，则可以保证消息的顺序性

consumer参数

参数名称	备注说明
group.id	指定consumer group 的名字
key.deserializer	为消息的key反序列化，也可以自定义，需要实现org.apache.kafka.common.serialization.Deserializer接口
value.deserializer	为消息体反序列化，跟key.deserializer类似
session.timeout.ms	consumer group检测组内成员发送崩溃的时间(coordinator检测失败的时间)
max.poll.interval.ms	consumer处理逻辑最大的时间
auto.offset.reset	指定了无位移或位移移界（即consumer要消费的消息的位移不在当前消息日志的合理区间范围）时kafka的应对策略，有三个值：earliest、latest、none
enable.auto.commit	指定consumer是否自动提交位移
fetch.max.bytes	指定consumer端单次获取数据的最大字节数，若消息的内容很大，则该值应该调更大点，否则这个消息无法被消费,默认是52428800
max.poll.records	控制单次poll调用返回的最大消息数，默认是500条
heartbeat.interval.ms	coordinator要开启新一轮的rebalance时，该参数控制consumer group的成员何时得知新的rebalance，该值必须要小于session.timeout.ms
connections.max.idle.ms	Kafka定义关闭空闲Socket的时间间隔，默认是9分钟