Kafka之server.properties配置文件详解

我们在搭建kafka集群时,根据业务目标不一样,对配置文件的修改补充也会有一些不同。在查看kafka的config目录之后,发现里面有很多的配置文件,但正在需要修改的有1、producer.properties:生产端的配置文件;2、consumer.properties:消费端的配置文件;3、server.properties:服务端的配置文件。其中最为重要的应该属于服务端的配置文件。这里,小厨给大家整理一个比较详细的server.properties配置文件内容及其含义。除了kafka在启动服务之前必须要设定3个参数:broker.id、log.dirs、zookeeper.connect之外,还列举其他一些可能需要进行配置修改的参数。如下表所示:

 

参数

说明(解释)

broker.id =0

每一个broker在集群中的唯一表示,要求是正数,kafka及其根据id来识别broker机器。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况

log.dirs=/kafka/kafka-logs

kafka数据的存放地址,多个地址的话用逗号分割/kafka/kafka-logs-1,/kafka/kafka-logs-2

port =9092

broker server服务端口

message.max.bytes =6525000

表示消息体的最大大小,单位是字节

num.network.threads =4

broker处理消息的最大线程数,一般情况下不需要去修改

num.io.threads =8

broker处理磁盘IO的线程数,数值应该大于你的硬盘数

background.threads =4

一些后台任务处理的线程数,例如过期消息文件的删除等,一般情况下不需要去做修改

queued.max.requests =500

等待IO线程处理的请求队列最大数,若是等待IO的请求超过这个数值,那么会停止接受外部消息,应该是一种自我保护机制。

host.name

broker的主机地址,若是设置了,那么会绑定到这个地址上,若是没有,会绑定到所有的接口上,并将其中之一发送到ZK,一般不设置

socket.send.buffer.bytes=100*1024

socket的发送缓冲区,socket的调优参数SO_SNDBUFF

socket.receive.buffer.bytes =100*1024

socket的接受缓冲区,socket的调优参数SO_RCVBUFF

socket.request.max.bytes =100*1024*1024

socket请求的最大数值,防止serverOOMmessage.max.bytes必然要小于socket.request.max.bytes,会被topic创建时的指定参数覆盖

Kafka中log日志的参数配置

 

 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值