一、简介
Kafka是一种高吞吐量的分布式发布订阅消息系统 。
相关术语:
Toptic:kafka按照Toptic分类来维护消息,可以理解为一类消息放在一个Toptic里。
Producer(生产者):我们将消息发布到Toptic中的进程称为生产者。
Consumer(消费者):我们将订阅Toptic并且处理Toptic中消息的进程称为消费者。
Broker:kafa以集群方式运行,集群中的每一台服务器称之为Broker。
producers生产者通过网络发送消息到Kafka集群,然后consumer消费者来进行消费,无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。如图:
二、Topic/logs
一个toptic就是一类消息,每个toptic下又有多个partition(分区),每个分区可以理解成一个有序的消息队列,这些message按顺序添加到一个叫做commit log的文件中,每次生产者发布到的消息都会追加到日志文件的尾部,这样每个消