kafka重要参数配置

Broker端的参数

1.log.dirs:这个参数可以跟几个文件目录,
如:/home/kafka1,/home/kafka2,/home/kafka3
如果有条件这几个目录最好是不同磁盘的目录
2.zookeeper.connect:这里说下如果多个kafka集群都用这个zookeeper的指定方式。
如:zk1:2181,zk2:2181,zk3:2181/kafa1,zk1:2181,zk2:2181,zk3:2181/kafa2

topic管理参数设置

1.auto.create.topics.enable:是否允许自动创建 Topic。
一般是设置成false,不让自动创建,不然会出现很多没有意义的topic
2.unclean.leader.election.enable:false表示数据相差很大的副本不可以竞选leader,true表示可以竞选,建议是手动设置成false,这样能防止数据丢失
3.auto.leader.rebalance.enable:true表示如果定期的就重现选举leader,即时当前的leader好好的,也要重新选举,所有建议设置成false
4.log.retention.{hour|minutes|ms}:表示一条消息被保存多长时间,一般设置成7天,7天后就自动删除7天前的数据
5.log.retention.bytes:指定broker的磁盘能存储的总容量大小,它的默认值是-1,表示在这台broker上存多少数据都可以
6.log.max.bytes:控制broker能够接受的最大消息大小,默认值是1000012,1M都没有达到,应该设置的大一点,

JVM的调优

KAFKA_HEAP_OPTS=–Xms6g --Xmx6g 根据大量的经验积累,一般服务器中,我们先把kafka的缓存设置成6G比较合理,当然 了具体的还是要看你的后期的业务和机器
KAFKA_JVM_PERFORMANCE_OPTS= -server -XX:+UseG1GC -XX:MaxGCPauseMillis显示的把jvm的垃圾回收器设置成G1,它在这个场景中是最合适的

操作系统的调优

sysctlvm.swappiness=1 讲swap空间设置成较小但不是0是比较合理的
ulimit -n 1000000操作系统打开的文件数,这个可以设置如上的大一点比较合理

有任何问题,欢迎加扫码咨询(备注好对应的技术呦)
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka 是一个分布式的消息系统,它的性能和稳定性非常重要。优化 Kafka 配置参数可以提高 Kafka 的吞吐量和稳定性。以下是一些常用的 Kafka 配置参数优化建议: 1. `num.network.threads` 和 `num.io.threads` 参数控制 Kafka 网络和 I/O 线程的数量。建议将 `num.network.threads` 设置为 CPU 核心数的两倍,将 `num.io.threads` 设置为 CPU 核心数的一半。 2. `socket.send.buffer.bytes` 和 `socket.receive.buffer.bytes` 参数控制 Kafka 网络套接字的发送和接收缓冲区大小。建议将它们设置为 64KB 或更高。 3. `socket.request.max.bytes` 参数控制 Kafka 网络套接字的最大请求大小。建议将它设置为足够大的值,以支持你的最大消息大小。 4. `log.retention.bytes` 和 `log.segment.bytes` 参数控制 Kafka 消息日志的段大小和保留大小。建议根据你的磁盘大小和消息吞吐量,设置合适的值。 5. `num.partitions` 参数控制 Kafka 主题的分区数。建议将它设置为主题并发消费者数量的倍数。 6. `queued.max.requests` 参数控制 Kafka 生产者发送消息的批处理大小。建议将它设置为 1 或更高,以达到最佳的吞吐量和延迟。 7. `unclean.leader.election.enable` 参数控制当 Kafka 集群中的一个节点失效时,是否允许使用未同步的副本替代它。建议将它设置false,以确保数据的一致性。 8. `min.insync.replicas` 参数控制 Kafka 消息的最小同步副本数。建议将它设置为大于等于 2,以确保数据的可靠性和一致性。 以上是一些常用的 Kafka 配置参数优化建议,不同的应用场景可能需要不同的配置。建议根据实际情况进行调整和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值