Kafka Producer介绍

producer直接将数据发送到broker的leader(主节点) ,不需要在多个节点进行分发。为了帮助producer做到这点,所有的Kafka节点都可以及时的告知:哪些节点是活动的,目标topic目标分区的leader在哪。这样producer就可以直接将消息发送到目的地了。

客户端控制消息将被分发到哪个partition 。可以通过负载均衡随机的选择,或者 使用分区函数 。Kafka允许用户实现分区函数,指定分区的key,将 消息hash到不同的分区 上(当然有需要的话,也可以覆盖这个分区函数自己实现逻辑).比如如果你 指定的key是user id,那么同一个用户发送的消息都被发送到同一个分区上 。经过分区之后,consumer就可以有目的的消费某个分区的消息。

异步发送
批量发送可以很有效的提高发送效率。Kafka producer的异步发送模式允许进行批量发送,先将消息缓存在内存中,然后一次请求批量发送出去。 这个策略可以配置的,比如可以指定 缓存的消息达到某个量 的时候就发出去,或者 缓存了固定的时间 后就发送出去(比如100条消息就发送,或者每5秒发送一次)。这种策略将大大减少服务端的I/O次数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值