1、kafka的架构介绍
宏观上,Kafka的架构包含四大部分
- 1、生产者API
允许应用程序发布记录流至一个或者多个kafka的主题(topics)。 - 2、消费者API
允许应用程序订阅一个或者多个主题,并处理这些主题接收到的记录流。 - 3、StreamsAPI
允许应用程序充当流处理器(stream processor),从一个或者多个主题获取输入流,并生产一个输出流到一个或 者多个主题,能够有效的变化输入流为输出流。
- 4、ConnectAPI
允许构建和运行可重用的生产者或者消费者,能够把kafka主题连接到现有的应用程序或数据系统。例如:一个连接到关系数据库的连接器可能会获取每个表的变化。
2、kafka架构内部细节剖析
微观层面