## 配置参考:https://blog.csdn.net/vegetable_bird_001/article/details/51858915 ## 官方说明:https://kafka.apache.org/documentation/ ## broker.id可以自动获取,但避免扩容、下线导致部分id出现重复,因此手工指定 broker.id=__BROKER_ID__ ## 是否通过管理工具删除topic delete.topic.enable=true ## 能否自动创建topic,这里修改为false auto.create.topics.enable=false ## 监听IP+port listeners=PLAINTEXT://__HOST_IP__:9092 port=9092 ## 已经弃用,只有当listeners没有配置情况下 #host.name=__HOST_IP__ ## 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1 num.network.threads=30 ## 主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍 num.io.threads=60 ## 这个参数是指定用于缓存网络请求的队列的最大容量,这个队列达到上限之后将不再接收新请求。一般不会成为瓶颈点,除非I/O性能太差,这时需要配合num.io.threads等配置一同进行调整 queued.max.requests=500 ## socket server发送数据缓冲区大小 socket.send.buffer.bytes=102400 ## socket server接受数据缓冲区大小 socket.receive.buffer.bytes=102400 ## soket server 可接受最大消息大小,防止oom socket.request.max.bytes=104857600 ## 消息存放目录 log.dirs=/data2/kafka-logs ## 是否开启压缩 log.cleaner.enable=false ## 默认分区数量 num.partitions=4 ## 默认复制因子(此值包含所有副本数,与Elasticsearch副本数不一样) default.replication.factor=2 ## 副本同步数据的线程数(默认为1) num.replica.fetchers=1 ## kafka启动恢复日志,关闭前日志刷盘的线程数(每个数据目录) num.recovery.threads.per.data.dir=2 ## 消息保存时间 log.retention.hours=24 ## log段大小 log.segment.bytes=1073741824 ## 日志清理程序清理检查周期 log.retention.check.interval.ms=300000 ## zk地址 zookeeper.connect=10.237.49.121:2181,10.237.49.148:2181,10.237.49.23:2181,10.237.54.239:2181,10.237.54.244:2181/hb-dev-kafka10 ## zk连接超时时间 zookeeper.connection.timeout.ms=6000
kafka一份配置&说明
最新推荐文章于 2024-07-22 05:15:00 发布