我们在搭建kafka集群时,根据业务目标不一样,对配置文件的修改补充也会有一些不同。在查看kafka的config目录之后,发现里面有很多的配置文件,但正在需要修改的有1、producer.properties:生产端的配置文件;2、consumer.properties:消费端的配置文件;3、server.properties:服务端的配置文件。其中最为重要的应该属于服务端的配置文件。这里,小厨给大家整理一个比较详细的server.properties配置文件内容及其含义。除了kafka在启动服务之前必须要设定3个参数:broker.id、log.dirs、zookeeper.connect之外,还列举其他一些可能需要进行配置修改的参数。如下表所示:
参数 |
说明(解释) |
broker.id =0 |
每一个broker在集群中的唯一表示,要求是正数,kafka及其根据id来识别broker机器。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况 |
log.dirs=/kafka/kafka-logs |
kafka数据的存放地址,多个地址的话用逗号分割/kafka/kafka-logs-1,/kafka/kafka-logs-2 |
port =9092 |
broker server服务端口 |
message.max.bytes =6525000 |
表示消息体的最大大小,单位是字节 |
num.network.threads =4 |
broker处理消息的最大线程数,一般情况下不需要去修改 |
num.io.threads =8 |
broker处理磁盘IO的线程数,数值应该大于你的硬盘数 |
background.threads =4 |
一些后台任务处理的线程数,例如过期消息文件的删除等,一般情况下不需要去做修改 |
queued.max.requests =500 |
等待IO线程处理的请求队列最大数,若是等待IO的请求超过这个数值,那么会停止接受外部消息,应该是一种自我保护机制。 |
host.name |
broker的主机地址,若是设置了,那么会绑定到这个地址上,若是没有,会绑定到所有的接口上,并将其中之一发送到ZK,一般不设置 |
socket.send.buffer.bytes=100*1024 |
socket的发送缓冲区,socket的调优参数SO_SNDBUFF |
socket.receive.buffer.bytes =100*1024 |
socket的接受缓冲区,socket的调优参数SO_RCVBUFF |
socket.request.max.bytes =100*1024*1024 |
socket请求的最大数值,防止serverOOM,message.max.bytes必然要小于socket.request.max.bytes,会被topic创建时的指定参数覆盖 |
Kafka中log日志的参数配置
|
|