已转移
1. Kafka组件
1) kafka topic是为了对消息进行分类
每条消息都被append到partition中,是顺序写磁盘,因此效率非常高(经验证,顺序写磁盘效率比随机写内存还要高,这是Kafka高吞吐率的一个很重要的保证)。
2) 如果partition规则设置的合理,所有消息可以均匀分布到不同的partition里
分区保证 负载均衡 不会使得一台服务器承载很大的量
3)为了提高消息的可靠性,Kafka每个topic的partition有N个副本(replicas),其中N(大于等于1)是topic的复制因子(replica fator)的个数。Kafka通过多副本机制实现故障自动转移,当Kafka集群中一个broker失效情况下仍然保证服务可用。在Kafka中发生复制时确保partition的日志能有序地写到其他节点上,N个replicas中,其中一个replica为leader,其他都为follower, leader处理partition的所有读写请求,与此同时,follower会被动定期地去复制leader上的数据。
4)好处以下是Kafka的几个好处 -
可靠性 - Kafka是分布式,分区,复制和容错的。
可扩展性 - Kafka消息传递系统轻松缩放,无需停机。
耐用性 - Kafka使用分布式提交日志,这意味着消息会尽可能快地保留在磁盘上,因此它是持久的。
性能 - Kafka对于发布和订阅消息都具有高吞吐量。 即使存储了许多TB的消息,它也保持稳定的性能。
2. kafaka主题与分区:
3. Kafka保证数据可靠性,每个分区都有给额leader(复制的leader)
4.
Kafka
最新推荐文章于 2024-06-18 10:35:13 发布