新的消费者配置
Name | Description | 类型 | 默认值 | 重要性 |
---|---|---|---|---|
bootstrap.servers | 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载,不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts(用于发现全部的servers 这个列表格式: host1:port1,host2:port2,… 因为这些server仅仅是用于初始化的连接,以发现集群所有成员关系(可能会动态的变化),这个列表不需要包含所有的servers(你可能想要不止一个server,尽管这样,可能某个server宕机了)。如果没有server在这个列表出现,则发送数据会一直失败,直到列表可用。 |
list | 高 | |
key.deserializer | 实现了Deserializer接口的反序列化类 | class | 高 | |
value.deserializer | 值的实现了Deserializer接口的反序列化类, | class | 高 | |
fetch.min.bytes | 每次获取数据请求时,server应该返回的最小字节数。如果没有足够的数据返回,请求会等待,直到足够的数据才会返回。默认值设置成1意味着fetch请求会尽快得到应答,在得到一个单字节的数据或者fetch请求在等待数据返回的时候超时的时候。如果此设置的值大于1,将导致server等待汇聚更多的数据,花费一些额外的延迟时间可提高server的吞吐量。 | int | 1 | 高 |
group.id | 用来唯一标识consumer进程所在组的字符串,如果设置同样的group id,表示这些进程都是属于同一个consumer group。如果消费者通过使用订阅(topic)或者基于kafka的offset管理策略来使用组管理功能,则这个选项是必须配置的。 | String | “” | 高 |
heartbeat.interval.ms | consumer 向 coordinator发送心跳间隔时间,该值必须小于session.timeout.ms,但通常应设置不超过该值的1/3。它可以调整得更低,以控制为正常重新平衡预期时间。 | int | 3000 | 高 |
max.partition.fetch.bytes | 每个分区partiton返回的最大的数据量。请求的最大内存使用值为consumer的分区个数*max.partition.fetch.bytes。这个值的大小必须至少为服务器允许的最大消息大小,否则可能producer发送的消息大小超过这个consumer能获取的最大值,如果出现这种情况,消费者会在从某个分区中获取一个超大的消息时卡住。 | int | 1048576 | 高 |
session.timeout.ms | 当使用组管理工具时的检测故障超时时间,如果在这个时间内,消费者没有向协调者发送心跳,则标识该消费者已经死亡。 | int | 30000 | 高 |
auto.offset.reset | 在kafka中没有初始的offset或者当前的offset不存在(比如。因为数据已经被删除),将返回的offset值: earliest:自动重置offset到一个最早的偏移量 latest:自动重置offset到一个最新的偏移量 none:如果在消费者的组中没有发现之前的offset就向消费者抛出异常 anything else:向消费者抛出异常 |
string | latest | 中 |
ssl.key.password | 秘钥存储文件中的秘钥密码。 | password | null | 高 |
ssl.keystore.location | 秘钥文件的存储位置。这个可选的配置可用于为客户端提供双向认证。 | string | null | 高 |
ssl.keystore.password | 密钥存储文件的存储密码,和ssl.keystore.location配合使用 | password |