kafka配置文件server.properties

broker.id=0

host.name=192.168.X.XXX
port=9092

num.network.threads=3
num.io.threads=8
log.dirs=XXX
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=64
log.retention.hours=72
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
offsets.topic.replication.factor=3
zookeeper.connect=192.168.X.XXX:2181,192.168.X.XXX:2181,192.168.X.XXX:2181
auto.leader.rebalance.enable=true

 上面是kafka常见的配置，其中每个配置的含义如下：

broker.id

每个 broker 都可以用一个唯一的非负整数 id 进 行标识；这个 id 可以作为 broker 的 “ 名字 ”， 并且它的存在使得 broker 无须混淆 consumers就可以迁移到不同的 host/port 上。你可以选择任意你喜欢的数字作为 id ，只要 id 是唯一的即可。

host.name（默认为null）

broker 的 hostname ；如果 hostname 已经设置的话，broker 将只会绑定到这个地址上；如果没有设置，它将绑定到所有接口，并发布一份到 ZK

port（默认9092）

server 接受客户端连接的端口

num.network.threads(默认 3)

server 用来处理网络请求的网络线程数目；一般不需要更改这个属性。

num.io.thread（默认为8）

server 用来处理请求的 I/O 线程的数目；这个线程数目至少要等于硬盘的个数.

log.dirs （/tmp/kafka-logs）

kafka 存放数据的路径。这个路径并不是唯一的，可以是多个，路径之间只需要使用逗号分隔即 可；每当创建新 partition 时，都会选择在包含最少 partitions 的路径下进行。

socket.send.buffer.bytes(100*1024)

SO_SNDBUFF 缓存大小， server 进行 socket连接所用

socket.receive.buffer.bytes(100*1024)

SO_RCVBUFF 缓存大小， server 进行 socket连接时所用

socket.request.max.bytes(100*1024*1024)

server 允许的最大请求尺寸； 这将避免 server溢出，它应该小于 Java heap size

num.partitions(1)

如果创建 topic 时没有给出划分 partitions 个 数，这个数字将是 topic 下 partitions 数目的默认数值

og.retention.minutes 和 log.retention.hours(7days)

每个日志文件删除之前保存的时间。默认数据保存时间对所有 topic 都一样.log.retention.minutes 和log.retention.bytes 都是用来设置删除日志文件的，无论哪个属性已经溢出。这个属性设置可以在 topic 基本设置时进行覆盖.查看 the per-topic configuration section

message.max.bytes(1000000)

server 可以接收的消息最大尺寸。重要的是，consumer 和 producer 有关这个属性的设置必须同步，否则 producer 发布的消息对consumer 来说太大。

default.replication.factor(1)

默认备份份数，仅指自动创建的 topics

replica.fetch.max.bytes ( 1024*1024)

备份时每次 fetch 的最大值

log.segment.bytes ( 1014*1024*1024)

topic partition 的日志存放在某个目录下诸多文件中，这些文件将 partition 的日志切分成一段一段的；这个属性就是每个文件的最大尺寸；当尺寸达到这个数值时，就会创建新文件。此设置可以由每个 topic 基础设置时进行覆盖.

log.retention.check.interval.ms ( 5 minutes)

检查日志分段文件的间隔时间，以确定是否文件属性是否到达删除要求。

log.cleaner.enable ( false)

当这个属性设置为 false 时，一旦日志的保存时间或者大小达到上限时，就会被删除；如果设置 为 true ，则当保存属性达到上限时，就会进行 log compaction 。

offsets.topic.replication.factor (3)

topic 的 offset 的备份份数。建议设置更高的数字保证更高的可用性

zookeeper.connect(localhost:2181)

ZooKeeper 连接字符串的格式为：hostname:port，此处 hostname 和 port 分 别是 ZooKeeper 集群中某个节点的 host 和port；为了当某个 host 宕掉之后你能通过其他ZooKeeper 节点进行连接，你可以按照以下方式制定多个 hosts ：hostname1:port1, hostname2:port2, hostname3:port3. ZooKeeper 允许你增加一个 “chroot” 路径，将 集群中所有 kafka 数据存放在特定的路径下。当多个 Kafka 集群或者其他应用使用相同 ZooKeeper 集群时，可以使用这个方式设置数 据存放路径。这种方式的实现可以通过这样设置 连接字符串格式，如下所示： hostname1 ： port1 ， hostname2 ： port2 ， hostname3 ： port3/chroot/path 这样设置就将所有 kafka 集群数据存放在 /chroot/path 路径下。注意，在你启动 broker 之前，你必须创建这个路径，并且 consumers 必须使用相同的连接格式.

auto.leader.rebalance.enable(true)

如果这是 true ，控制者将会自动平衡 brokers对于 partitions 的 leadership