Kafka

类

from kafka import KafkaProducer, KafkaConsumer, KafkaAdminClient
from kafka.admin import NewTopic
from typing import Iterator

class KafkaHelper:
    def __init__(self, bootstrap_servers: str):
        """
        KafkaHelper 类的构造函数。

        Args:
            bootstrap_servers (str): Kafka 服务器地址。
        """
        self.bootstrap_servers = bootstrap_servers

    def create_topic(self, topic_name: str, num_partitions: int = 1, replication_factor: int = 1) -> None:
        """
        创建一个新的 Kafka 主题。

        Args:
            topic_name (str): 主题名称。
            num_partitions (int, optional): 主题分区数。默认为1。
            replication_factor (int, optional): 主题副本因子。默认为1。

        Returns:
            None
        """
        admin_client = KafkaAdminClient(bootstrap_servers=self.bootstrap_servers)
        topic = NewTopic(name=topic_name, num_partitions=num_partitions, replication_factor=replication_factor)
        admin_client.create_topics([topic])

    def delete_topic(self, topic_name: str) -> None:
        """
        删除指定的 Kafka 主题。

        Args:
            topic_name (str): 主题名称。

        Returns:
            None
        """
        admin_client = KafkaAdminClient(bootstrap_servers=self.bootstrap_servers)
        admin_client.delete_topics([topic_name])

    def send_message(self, topic_name: str, message: str) -> None:
        """
        向指定主题发送消息。

        Args:
            topic_name (str): 主题名称。
            message (str): 要发送的消息。

        Returns:
            None
        """
        producer = KafkaProducer(bootstrap_servers=self.bootstrap_servers)
        producer.send(topic_name, message.encode('utf-8'))
        producer.flush()

    def consume_messages(self, topic_name: str, group_id: str, auto_offset_reset: str = 'earliest') -> Iterator[str]:
        """
        创建一个消费者并消费指定主题的消息。

        Args:
            topic_name (str): 主题名称。
            group_id (str): 消费者组ID。
            auto_offset_reset (str, optional): 初始偏移量设置。默认为'earliest'。

        Yields:
            Iterator[str]: 消费到的消息迭代器。
        """
        consumer = KafkaConsumer(topic_name, group_id=group_id,
                                 bootstrap_servers=self.bootstrap_servers,
                                 auto_offset_reset=auto_offset_reset)
        for message in consumer:
            yield message.value.decode('utf-8')

    def close(self) -> None:
        """
        关闭 KafkaHelper。

        Returns:
            None
        """
        pass
        # Implement any cleanup or resource release logic if needed

使用示例

# 实例化 KafkaHelper 对象
kafka_servers = 'localhost:9092'  # Kafka 服务器地址
kafka = KafkaHelper(kafka_servers)

# 创建主题
kafka.create_topic('my_topic', num_partitions=3, replication_factor=1)

# 发送消息
kafka.send_message('my_topic', 'Hello, Kafka!')

# 创建消费者并消费消息
consumer = kafka.consume_messages('my_topic', 'my_consumer_group')
for message in consumer:
    print(message)

# 删除主题
kafka.delete_topic('my_topic')

# 关闭 KafkaHelper
kafka.close()