kafak体系架构
1、Producer:生产者,创建消息
2、Consumer: 消费者,接受消息
3、Broker:服务代理节点,多个broker组成一个Kafka集群
4、Topic:主题,生产者将消息发送到指定的主题,消费者负责订阅主题进行消费
5、Partition:分区,一个分区只属于一个主题,但是主题可以有多个分区,分区可以分别在不同的broker上,所以一个主题可以跨越多个broker,提供更强大的性能。
分区引入主从架构机制,可以解决容灾能力和故障转移问题
通过同步副本和异步同步副本组合架构
同步副本(follower)同步复制leader副本消息,当leader副本宕机时可以从同步副本中选举出leader
异步副本 通过异步复制leader副本消息,在一定程度上,异步副本消息有延时。
通过同步副本+异步副本复制机制解决了完全同步复制的性能问题,同时同步副本可以解决故障转移问题(数据可靠性)
Kafka安装环境
Zookeeper 必要组件,运行环境在JVM上,需要安装JDK