Kafka配置文件server.properties详解

本文详细解析了Kafka配置文件server.properties中的各项参数,包括系统相关配置、LOG相关设置和TOPIC及复制相关配置,旨在帮助理解Kafka Broker的运行机制和优化策略。
摘要由CSDN通过智能技术生成

Kafka启动通常都会通过配置文件的方式启动,也就是通过server.properties文件启动,里面是kafka的broker端的一些配置,那么这些配置都是什么意思呢?下面准备记录一下。

-----------------------------系统相关配置-------------------------------------------------------------------------------------------------------
#这个表示当前broker在集群中的一个唯一标识,如果集群有3个broker,则分别为0,1,2
broker.id=0

#kafka存放数据的地方,如果要存放到多个地址的话用逗号分割 /tmp/kafka-log,/tmp/kafka-log2
log.dirs=/tmp/kafka-logs

#对外端口号
port=9021

#消息体的最大大小,单位是字节
message.max.bytes=1000000

#broker处理消息的最大线程数,一般情况下不需要修改
num.network.threads=3

#broker处理磁盘IO的线程数,应该大于你的硬盘数
num.io.threads=8

#后台任务处理的线程数,比如过期消息文件的删除等,一般情况下不需要修改
background.threads=4

#等待IO线程处理的请求队列最大数,如果等待IO的请求超过这个数值,就会停止接受外部消息,算是一种自我保护机制
queued.max.requests=500

#broker的主机地址,如果设置了就会绑定到这个地址,如果没有设置,会绑定到所有接口上,并将其中之一发送到zk,一般不设置
host.name

##socket的发送缓冲区
socket.send.buffer.bytes=100*1024

#socket的接受缓冲区
socket.receive.buffer.bytes=100*1024

#socket请求的最大数值,防止内存溢出
socket.re

application.properties的kafka配置可以根据需要进行设置。以下是一些常见的配置参数及其说明: 1. broker.id:Kafka服务器的唯一标识符,集群模式下必须唯一且不可更改。 2. listeners:Kafka服务器的监听地址和端口。 3. log.dirs:Kafka消息存储的文件路径,可以配置多个路径,Kafka会选择拥有最少数据分区的路径进行存储。 4. num.recovery.threads.per.data.dir:启动或关闭Kafka时,日志需要启动或恢复的线程数量。 5. num.network.threads:处理网络请求的最大线程数。 6. num.io.threads:处理磁盘I/O的线程数。 7. background.threads:后台线程数。 8. queued.max.requests:等待IO线程处理的请求队列最大数。 9. socket.send.buffer.bytes:socket的发送缓冲区大小。 10. socket.receive.buffer.bytes:socket的接收缓冲区大小。 11. socket.request.max.bytes:socket请求的最大字节数。 12. num.partitions:每个topic的分区个数。 13. auto.create.topics.enable:是否允许自动创建topic。 14. default.replication.factor:一个topic默认分区的副本个数。 15. message.max.bytes:消息体的最大大小。 以上是一些常见的Kafka配置参数,可以根据实际需求进行配置。 #### 引用[.reference_title] - *1* [apache kafka系列之server.properties配置文件参数说明](https://blog.csdn.net/lizhitao/article/details/25667831)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [02-Kafkaserver.properties核心配置详解](https://blog.csdn.net/qq_39234967/article/details/126451936)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值