kafka
我想说的csdn
这个作者很懒,什么都没留下…
展开
-
深入kafka之副本机制
分区的副本(Replica)机制 我们已经知道Kafka的每个topic都可以分为多个Partition,并且多个partition会均匀分布在集群的各个节点下。虽然这种方式能够有效的对数据进行分片,但是对于每个partition来说,都是单点的,当其中一个partition不可用的时候,那么这部分消息就没办法消费。所以kafka为了提高partition的可靠性而提供了副本的概念(Replica),通过副本机制来实现冗余备份 每个分区可以有多个副本,并且在副本集合中会存在一个leader的副本,所原创 2019-11-23 20:37:13 · 383 阅读 · 0 评论 -
深入kafka之消息分区策略原理
kafka消息消费原理 在实际生产过程中,每个topic都会有多个partitions,多个partitions的好处在于,一方面能够对broker上的数据进行分片有效减少了消息的容量从而提升io性能。另外一方面,为了提高消费端的消费能力,一般会通过多个consumer去消费同一个topic ,也就是消费端的负载均衡机制,也就是我们接下来要了解的,在多个partition以及多个consumer的情况下,消费者是如何消费消息的原创 2019-11-18 23:32:12 · 355 阅读 · 0 评论