kafka运行机制

kafka学习入门 什么是kafka - 简书

1.什么是kafka

kafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。

2.基本概念

1.kafka作为集群运行在一个或者多个服务器上
2.kafka集群存储的消息是以topic为类别记录的
3.kafka存储的消息是k-v键值对，k是offset偏移量，v就是消息的内容
4.topic：kafka将消息分门别类，每一类的消息称之为topic
5.broker：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker). 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。
6.消息：kafka会保存消息直到它过期，无论是否被消费了。
7.producer：发布消息的对象，往某个topic中发布消息，也负责选择发布到topic中的哪个分区
8.consumer：订阅消息并处理发布的消息的对象

9.patition：topic是逻辑上的概念，patition是物理概念。