Kafka配置推荐及最佳实践

最新推荐文章于 2024-05-18 14:26:26 发布

TerrenceTian

最新推荐文章于 2024-05-18 14:26:26 发布

阅读量703

点赞数

文章标签： kafka 分布式 java

本文链接：https://blog.csdn.net/xiaoxing598/article/details/128887700

版权

title: Kafka配置推荐及最佳实践
date: 2022-05-12 00:00:00
tags:

Kafka
kafka最佳实践
categories:
Kafka

配置推荐

重要配置项说明

zookeeper.connect：必配参数，建议在kafka集群的每台机器都配置所有zk。
broker.id：必配参数。集群节点的标示符，不得重复，取值范围0~n。
log.dirs：不要使用默认的“/tmp/kafka-logs”
advertised.host.name（默认为“host.name”）：注册到zk供用户使用的主机名，内网环境通常无需配置，而IaaS一般需要配置为公网地址。
advertised.port：注册到zk供用户使用的服务端口，通常在IaaS环境需要额外配置。
num.partitions（默认是1）：创建topic时的默认partition数量
default.replication.factor：自动创建topic的默认副本数量，官方建议修改为2。
min.insync.replicasISR：提交生成者请求的最小副本数
unclean.leader.election.enable（默认允许）：是否允许不具备ISR资格的replicas被选举为leader，作为不得已的措施，甚至不惜牺牲部分数据。
controlled.shutdown.enable：在kafka收到stop命令或者异常终止时，允许自动同步数据，建议开启。

客户端配置

生产方面要考虑：
- ack、压缩、同步生产 vs 异步生产、批处理大小（异步生产）
- Consumer方面要考虑：获取消息的大小

动态调整配置

大部分kafka配置是写死在properties文件里的。然而，许多关于topic的参数可以使用kafka-topic.sh工具来进行动态调配，常见可以调整的参数如下：

unclean.leader.election.enable：不严格的leader选举，有助于集群健壮，但是存在数据丢失风险。
min.insync.replicas：如果同步状态的副本小于该值，服务器将不再接受request.required.acks为-1或all的写入请求。
max.message.bytes：单条消息的最大长度。如果修改了该值，那么replica.fetch.max.bytes和消费者的fetch.message.max.bytes也要跟着修改。
cleanup.policy：生命周期终结数据的处理，默认删除
flush.messages：强制刷新写入的最大缓存消息数
flust.ms：强制刷新写入的最大等待时长

还有一些参数也可以动态调整，请参考官方文档。

最佳实践

Java方面

建议使用JDK 1.8的最新发布版本，使用G1收集器（当前的默认值），LinkedIn的调整看起来像这样：

-Xmx6g -Xms6g -XX:MetaspaceSize=96m 
-XX:+UseG1GC-XX:MaxGCPauseMillis=20 
-XX:InitiatingHeapOccupancyPercent=35 
-XX:G1HeapRegionSize=16MXX:MinMetaspaceFreeRatio=50 
-XX:MaxMetaspaceFreeRatio=80