kafka默认配置

server.properties

# 有关其他详细信息和默认值,请参阅kafka.server.KafkaConfig

############################# 服务器基础知识 #############################

# 经纪人的身份证。 必须为每个代理设置一个唯一的整数。
broker.id=0

############################# 套接字服务器设置 #############################

# 套接字服务器侦听的地址。 如果未配置,它将获取从java.net.InetAddress.getCanonicalHostName()返回的值。
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://:9092

# 经纪人将向生产者和消费者宣传的主机名和端口。 如果没有设置
# 如果配置,它使用“侦听器”的值。 否则,它将使用该值
# 从java.net.InetAddress.getCanonicalHostName()返回。
#advertised.listeners=PLAINTEXT://your.host.name:9092

# 将侦听器名称映射到安全协议,默认为它们是相同的。 有关详细信息,请参阅配置文档
#listener.security.protocol.map = PLAINTEXT:明文SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL

# 服务器用于从网络接收请求并向网络发送响应的线程数
num.network.threads=3

# 服务器用于处理请求的线程数,可能包括磁盘I / O.
num.io.threads=8

# 套接字服务器使用的发送缓冲区(SO_SNDBUF)
socket.send.buffer.bytes=102400

# 套接字服务器使用的接收缓冲区(SO_RCVBUF)
socket.receive.buffer.bytes=102400

# 套接字服务器将接受的请求的最大大小(针对OOM的保护)
socket.request.max.bytes=104857600


############################# 日志基础 #############################

# 用于存储日志文件的逗号分隔目录列表
log.dirs=/tmp/kafka-logs

# 每个主题的默认日志分区数。 更多的分区允许更大的并行性,以便使用
# 但这也会导致更多的文件跨越
# the brokers.
num.partitions=1

# 每个数据目录用于启动时恢复日志和关机时刷新的线程数。
# 对于具有位于 RAID 阵列中的数据 dirs 的安装,建议增加此值。
num.recovery.threads.per.data.dir=1

############################# 内部主题设置  #############################
# 组元数据内部主题的复制因子“uu consumer_offsets”和“u transaction_state”对于开发测试以外的任何内容,建议大于1的值以确保可用性,如3。
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

############################# 日志刷新策略 #############################

# 消息会立即写入文件系统,但默认情况下,我们只有fsync()可以延迟同步OS缓存。
# 以下配置控制数据到磁盘的刷新。
# 这里有一些重要的权衡:
#    1. 持久性:如果不使用复制,未刷新的数据可能会丢失。
#    2. 延迟:当刷新确实发生时,非常大的刷新间隔可能会导致延迟峰值,因为将有大量数据需要刷新。
#    3. 吞吐量:冲洗通常是最昂贵的操作,并且一个小的冲洗间隔可能导致过度的搜索。
# 下面的设置允许将刷新策略配置为在一段时间后或每隔n条消息(或两者)刷新数据。
# 这可以在全局范围内完成,并在每个主题的基础上重写。

# 强制将数据刷新到磁盘之前要接受的消息数
#log.flush.interval.messages=10000

# 在强制刷新之前,消息可以在日志中保留的最长时间
#log.flush.interval.ms=1000

############################# 日志保留策略 #############################

# 以下配置控制日志段的处理。可以将策略设置为在一段时间后或在给定大小累积后删除段。
# 只要满足这些条件中的任何一个,就会删除一个段。删除总是从日志的结尾开始。

# 由于日志文件的存在时间而有资格删除的日志文件的最短存在时间
log.retention.hours=168

# 日志的基于大小的保留策略。除非其余段低于log.retention.bytes,否则将从日志中删除段。独立于log.retention.hours的功能。
#log.retention.bytes=1073741824

# 日志段文件的最大大小。当达到此大小时,将创建一个新的日志段。
log.segment.bytes=1073741824

# 检查日志段以查看是否可以根据保留策略删除它们的间隔。
log.retention.check.interval.ms=300000

############################# Zookeeper #############################

# ZooKeeper连接字符串(有关详细信息,请参阅ZooKeeper文档)。
# 这是一个逗号分隔的主机:端口对,每个端口对对应于一个zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# 您还可以在URL中附加一个可选的chroot字符串,以指定所有kafka znode的根目录。
zookeeper.connect=localhost:2181

# 连接动物园管理员超时(毫秒)
zookeeper.connection.timeout.ms=6000


############################# 组协调器设置 #############################

# 以下配置指定GroupCoordinator将延迟初始使用者重新平衡的时间(以毫秒为单位)。
# 当新成员加入组时,重新平衡将被group.initial.rebalance.delay.ms的值进一步延迟,最大延迟为max.poll.interval.ms。
# 默认值为3秒。
# 我们在这里将其覆盖为0,因为它为开发和测试提供了更好的开箱即用的体验。
# 但是,在生产环境中,默认值3秒更合适,因为这将有助于避免在应用程序启动期间进行不必要的、潜在的昂贵的重新平衡。
group.initial.rebalance.delay.ms=0

zookeeper.properties

# 存储快照的目录。
dataDir=/tmp/zookeeper
# 客户端将连接的端口
clientPort=2181
# 由于这是非生产配置,因此对连接数禁用每IP限制
maxClientCnxns=0

转载于:https://my.oschina.net/suveng/blog/3063969

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值