python操作Kafka简单使用

一. kafka-python和pykafka区别：

    https://blog.csdn.net/qq_38110368/article/details/108615786

    与confluent_kafka优劣：

    --

二. 相关概念：

• broker

        消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群，相当于物理层面上的一台服务器。

• topic

        消息的主题，一个broker可有多个topic。

• partition

        topic在物理层面上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列，创建topic时可以指定partition数量，每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件。一般来说partition的数量大于等于broker的数量。

• producer

        生产者，负责发布消息到Kafka broker

• consumer

        消费者，每个consumer属于一个特定的consumer group，同一topic的一条消息只能被一个consumer group的一个consumer消费，但多个consumer group可同时消费这条消息。

• consumer group