producer直接将数据发送到broker的leader(主节点)
,不需要在多个节点进行分发。为了帮助producer做到这点,所有的Kafka节点都可以及时的告知:哪些节点是活动的,目标topic目标分区的leader在哪。这样producer就可以直接将消息发送到目的地了。
客户端控制消息将被分发到哪个partition
。可以通过负载均衡随机的选择,或者
使用分区函数
。Kafka允许用户实现分区函数,指定分区的key,将
消息hash到不同的分区
上(当然有需要的话,也可以覆盖这个分区函数自己实现逻辑).比如如果你
指定的key是user id,那么同一个用户发送的消息都被发送到同一个分区上
。经过分区之后,consumer就可以有目的的消费某个分区的消息。
异步发送
批量发送可以很有效的提高发送效率。Kafka producer的异步发送模式允许进行批量发送,先将消息缓存在内存中,然后一次请求批量发送出去。
这个策略可以配置的,比如可以指定
缓存的消息达到某个量
的时候就发出去,或者
缓存了固定的时间
后就发送出去(比如100条消息就发送,或者每5秒发送一次)。这种策略将大大减少服务端的I/O次数。