一、什么是Kafka
分布式消息发布与订阅系统(消息发布与订阅系统:可以简单理解为订阅公众号,只有你订阅了公众号,成为公众号的粉丝,才能收到公众号发送的信息。但与订阅公众号不同的是,消息订阅系统中,消费者(订阅消息的人)只能看到自己订阅的消息,而我们可以通过搜索阅读没有关注的公众号发布的信息)。Kafka是通过生产者发送数据,消费者订阅相关的topic来获取指定的数据。
二、名词解释
1、批次:一组同属于一个主题和分区的消息;
2、消息:Kafka的数据单元成为消息;
3、主题:一类消息的统称,消费者通过订阅不同的主题来达到获取不同消息的目的;
4、分区:一个消息日志,消息以追加的方式写入分区(消息队列),分区内消息有序,分区间的消息可能无序;
5、流:一组生产者到消费者的数据;
5、生产者:创建消息的服务叫做生产者,将消息发布到特定的主题中(也可以通过消息健和分区器将消息写入制定的分区)
6、消费者:读取消息的服务叫做消费者,通过订阅一个或多个主题来读取指定的消息(按照消息的生产顺序读取)。通过偏移量区分已经读取过的消息(偏移量是一个递增的整数值),消费者关闭或重启,偏移量也不会丢失。
7、