(翻译)Apache Kafka 官方文档:Streams 配置

Kafka Streams 配置

NAMEDESCRIPTIONTYPEDEFAULTVALID VALUESIMPORTANCE
application.id流处理应用程序标识。必须在Kafka集群中是独一无二的。 1)默认客户端ID前缀,2)成员资格管理的group-id,3)changgelog的topic前缀stringhigh
bootstrap.servers用于建立与Kafka集群的初始连接的主机/端口列表。 客户端将会连接所有服务器,跟指定哪些服务器无关 - 通过指定的服务器列表会自动发现全部的服务器。此列表格式host1:port1,host2:port2,...由于这些服务器仅用于初始连接以发现完整的集群成员(可能会动态更改),所以此列表不需要包含完整集 的服务器(您可能需要多个服务器,以防指定的服务器关闭)。listhigh
replication.factor流处理程序创建更改日志topic和重新分配topic的副本数int1high
state.dir状态存储的目录地址。string/tmp/kafka-streamshigh
cache.max.bytes.buffering用于缓冲所有线程的最大内存字节数long10485760[0,...]low
client.id发出请求时传递给服务器的id字符串。 这样做的目的是通过允许将逻辑应用程序名称包含在服务器端请求日志记录中,来追踪请求源的ip/port。string""high
default.key.serde用于实现Serde接口的key的默认序列化器/解串器类。classorg.apache.kafka.common.serialization.Serdes$ByteArraySerdemedium
default.timestamp.extractor实现TimestampExtractor接口的默认时间戳提取器类。classorg.apache.kafka.streams.processor.FailOnInvalidTimestampmedium
default.value.serde用于实现Serde接口的值的默认serializer / deserializer类。classorg.apache.kafka.common.serialization.Serdes$ByteArraySerdemedium
num.standby.replicas每个任务的备用副本数。int0low
num.stream.threads执行流处理的线程数。int1low
processing.guarantee应使用的加工保证。可能的值为at_least_once(默认)和exact_once。stringat_least_once[at_least_once, exactly_once]medium
security.protocol用于与broker沟通的协议。 有效值为:PLAINTEXT,SSL,SASL_PLAINTEXT,SASL_SSL。stringPLAINTEXTmedium
application.serverhost:port指向用户嵌入定义的末端,可用于发现单个KafkaStreams应用程序中状态存储的位置string""low
buffered.records.per.partition每个分区缓存的最大记录数。int1000low
commit.interval.ms用于保存process位置的频率。 注意,如果'processing.guarantee'设置为'exact_once',默认值为100,否则默认值为30000。long30000low
connections.max.idle.ms关闭闲置的连接时间(以毫秒为单位)。long540000medium
key.serde用于实现Serde接口的key的Serializer/deserializer类.此配置已被弃用,请改用default.key.serdeclassnulllow
metadata.max.age.ms即使我们没有看到任何分区leader发生变化,主动发现新的broker或分区,强制更新元数据时间(以毫秒为单位)。long300000[0,...]low
metric.reportersmetric reporter的类列表。实现MetricReporter接口,JmxReporter始终包含在注册JMX统计信息中。list""low
metrics.num.samples保持的样本数以计算度量。int2[1,...]low
metrics.recording.level日志级别。stringINFO[INFO, DEBUG]low
metrics.sample.window.ms时间窗口计算度量标准。long30000[0,...]low
partition.grouper实现PartitionGrouper接口的Partition grouper类。classorg.apache
.kafka.streams
.processor
.DefaultPartitionGrouper
medium
poll.ms阻塞输入等待的时间(以毫秒为单位)。long100low
receive.buffer.bytes读取数据时使用的TCP接收缓冲区(SO_RCVBUF)的大小。 如果值为-1,则将使用OS默认值。int32768[0,...]medium
reconnect.backoff.max.ms因故障无法重新连接broker,重新连接的等待的最大时间(毫秒)。如果提供,每个主机会连续增加,直到达到最大值。随机递增20%的随机抖动以避免连接风暴。long1000[0,...]low
reconnect.backoff.ms尝试重新连接之前等待的时间。避免在高频繁的重复连接服务器。 这种backoff适用于消费者向broker发送的所有请求。long50[0,...]low
request.timeout.ms控制客户端等待请求响应的最长时间。如果在配置时间内未收到响应,客户端将在需要时重新发送请求,如果重试耗尽,则请求失败。int40000[0,...]low
retry.backoff.ms尝试重试失败请求之前等待的时间。以避免了在某些故障情况下,在频繁重复发送请求。long100[0,...]low
rocksdb.config.setter一个Rocks DB配置setter类,或实现RocksDBConfigSetter接口的类名nulllow
send.buffer.bytes发送数据时要使用的TCP发送缓冲区(SO_SNDBUF)的大小。 如果值为-1,则将使用OS默认值。int131072[0,...]low
state.cleanup.delay.ms在分区迁移删除状态之前等待的时间(毫秒)。long60000low
timestamp.extractor实现TimestampExtractor接口的Timestamp抽取器类。此配置已弃用,请改用default.timestamp.extractorclassnulllow
windowstore.changelog.additional.retention.ms添加到Windows维护管理器以确保数据不会从日志中过早删除。默认为1天long86400000low
zookeeper.connectZookeeper连接字符串,用于Kafka主题管理。此配置已被弃用,将被忽略,因为Streams API不再使用Zookeeper。string""low
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值