kafka broker 常规配置
----总结自《kafka 权威指南》
-
broker.id:broker 的标识符,默认为 0。可设置为任意整数,这个值在 kafka 集群里必须要是唯一的。
-
port:设置监听端口。如果使用 1024 以下的端口,Linux 需要使用 root 权限启动才能启动 kafka。
-
zookeeper.connect:保存 broker 元数据的 zookeeper 地址。该配置参数是用冒号分隔的一组 hostname:/port/path(path 是可选的 zookeeper 路径,默认为根路径) 列表。如果指定的 chroot 路径不存在,kafka 会在启动的时候创建它。
-
log.dirs:指定保存消息的本地文件系统路径,如果指定了多个路径,broker 会根据最少使用原则,把同一个分区的日志片段保存到同一个路径下面。broker 会往拥有最小数目分区的路径新增分区,而不是往拥有最小磁盘空间的路径新增分区。
-
num.recovery.threads.per.data.dir:
对于以下3种情况,kafka 会使用可配置的线程池来处理日志片段:
- 服务器正常运行,用于打开每个分区的日志片段。
- 服务器崩溃后重启,用于检查和截断每个分区的日志片段。
- 服务器正常关闭,用于关闭日志片段。
默认情况下,每个日志目录只使用一个线程,可以设置大量的线程来达到并行操作的目的。该参数所对应的是 log.dirs 指定的单个日志目录。