KAFKA 1.0 文档(六):消费者配置

新的消费者配置

Name Description 类型 默认值 重要性
bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载,不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts(用于发现全部的servers
这个列表格式:
host1:port1,host2:port2,…
因为这些server仅仅是用于初始化的连接,以发现集群所有成员关系(可能会动态的变化),这个列表不需要包含所有的servers(你可能想要不止一个server,尽管这样,可能某个server宕机了)。如果没有server在这个列表出现,则发送数据会一直失败,直到列表可用。
list
key.deserializer 实现了Deserializer接口的反序列化类 class
value.deserializer 值的实现了Deserializer接口的反序列化类, class
fetch.min.bytes 每次获取数据请求时,server应该返回的最小字节数。如果没有足够的数据返回,请求会等待,直到足够的数据才会返回。默认值设置成1意味着fetch请求会尽快得到应答,在得到一个单字节的数据或者fetch请求在等待数据返回的时候超时的时候。如果此设置的值大于1,将导致server等待汇聚更多的数据,花费一些额外的延迟时间可提高server的吞吐量。 int 1
group.id 用来唯一标识consumer进程所在组的字符串,如果设置同样的group id,表示这些进程都是属于同一个consumer group。如果消费者通过使用订阅(topic)或者基于kafka的offset管理策略来使用组管理功能,则这个选项是必须配置的。 String “”
heartbeat.interval.ms consumer 向 coordinator发送心跳间隔时间,该值必须小于session.timeout.ms,但通常应设置不超过该值的1/3。它可以调整得更低,以控制为正常重新平衡预期时间。 int 3000
max.partition.fetch.bytes 每个分区partiton返回的最大的数据量。请求的最大内存使用值为consumer的分区个数*max.partition.fetch.bytes。这个值的大小必须至少为服务器允许的最大消息大小,否则可能producer发送的消息大小超过这个consumer能获取的最大值,如果出现这种情况,消费者会在从某个分区中获取一个超大的消息时卡住。 int 1048576
session.timeout.ms 当使用组管理工具时的检测故障超时时间,如果在这个时间内,消费者没有向协调者发送心跳,则标识该消费者已经死亡。 int 30000
auto.offset.reset 在kafka中没有初始的offset或者当前的offset不存在(比如。因为数据已经被删除),将返回的offset值:
earliest:自动重置offset到一个最早的偏移量
latest:自动重置offset到一个最新的偏移量
none:如果在消费者的组中没有发现之前的offset就向消费者抛出异常
anything else:向消费者抛出异常
string latest
ssl.key.password 秘钥存储文件中的秘钥密码。 password null
ssl.keystore.location 秘钥文件的存储位置。这个可选的配置可用于为客户端提供双向认证。 string null
ssl.keystore.password 密钥存储文件的存储密码,和ssl.keystore.location配合使用 password
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值