kafka配置文件 中文乱码_kafka 配置文件详解

author：ashaff

kafka的配置分为 broker、producter、consumer三个不同的配置

一 broker 的全局配置

最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。

----------------------系统相关-------------------------

#每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.id的话不会影响consumers

broker.id = 1

#kafka数据的存放地址，多个地址的话用逗号分割 /tmp/kafka-eogs-1，/tmp/kafka-logs-2

log.dirs = /tmp/kafka-logs

#提供给客户端响应的端口

port = 6667

#消息体的最大大小，单位是字节

message.max.bytes = 1000000

#broker 处理消息的最大线程数，一般情况下不需要去修改

num.network.threads = 3

#broker处理磁盘IO 的线程数 ，数值应该大于你的硬盘数

num.io.threads = 8

#一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改

background.threads = 4

#等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，算是一种自我保护机制

queued.max.requests = 500

#broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置

host.name

#打广告的地址，若是设置的话，会提供给producers, consumers,其他broker连接，具体如何使用还未深究

advertised.host.name

#广告地址端口，必须不同于port中的设置

advertised.port

#socket的发送缓冲区，socket的调优参数SO_SNDBUFF

socket.send.buffer.bytes = 100 * 1024

#socket的接受缓冲区，socket的调优参数SO_RCVBUFF

socket.receive.buffer.bytes = 100 * 1024

#socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.

max.bytes，会被topic创建时的指定参数覆盖

socket.request.max.bytes = 100 * 1024 * 1024

----------------------LOG相关------------------------

#topic的分区是以一堆segment文件存储的，这个控制每个segment的大小，会被topic创建时的指定参数覆盖

log.segment.bytes = 1024 * 1024 * 1024

#这个参数会在日志segment没有达到log.segment.bytes设置的大小，也会强制新建一个segment 会被 topic创建时的指定参数覆盖

log.roll.hours = 24*7

#日志清理策略 选择有：delete和compact 主要针对过期数据的处理，或是日志文件达到限制的额度，会被 topic创建时的指定参数覆盖

log.cleanup.policy = delete

#数据存储的最大时间 超过这个时间 会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据

#log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖

log.retention.minutes=7 days

#topic每个分区的最大文件大小，一个topic的大小限制 = 分区数 * log.retention.bytes 。-1 没有大小限制

#log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖

log.retention.bytes=-1

#文件大小检查的周期时间，是否处罚 log.cleanup.policy中设置的策略

log.retention.check.interval.ms=5 minutes

#是否开启日志压缩

log.cleaner.enable=false

#日志压缩运行的线程数

log.cleaner.threads =1

#日志压缩时候处理的最大大小

log.cleaner.io.max.bytes.per.second=None

#日志压缩去重时候的缓存空间 ，在空间允许的情况下，越大越好

log.cleaner.dedupe.buffer.size=500*1024*1024

#日志清理时候用到的IO块大小 一般不需要修改

log.cleaner.io.buffer.size=512*1024

#日志清理中hash表的扩大因子 一般不需要修改

log.cleaner.io.buffer.load.factor = 0.9

#检查是否处罚日志清理的间隔

log.cleaner.backoff.ms =15000

#日志清理的频率控制，越大意味着更高效的清理&