类
from kafka import KafkaProducer, KafkaConsumer, KafkaAdminClient
from kafka.admin import NewTopic
from typing import Iterator
class KafkaHelper:
def __init__(self, bootstrap_servers: str):
"""
KafkaHelper 类的构造函数。
Args:
bootstrap_servers (str): Kafka 服务器地址。
"""
self.bootstrap_servers = bootstrap_servers
def create_topic(self, topic_name: str, num_partitions: int = 1, replication_factor: int = 1) -> None:
"""
创建一个新的 Kafka 主题。
Args:
topic_name (str): 主题名称。
num_partitions (int, optional): 主题分区数。默认为1。
replication_factor (int, optional): 主题副本因子。默认为1。
Returns:
None
"""
admin_client = KafkaAdminClient(bootstrap_servers=self.bootstrap_servers)
topic = NewTopic(name=topic_name, num_partitions=num_partitions, replication_factor=replication_factor)
admin_client.create_topics([topic])
def delete_topic(self, topic_name: str) -> None:
"""
删除指定的 Kafka 主题。
Args:
topic_name (str): 主题名称。
Returns:
None
"""
admin_client = KafkaAdminClient(bootstrap_servers=self.bootstrap_servers)
admin_client.delete_topics([topic_name])
def send_message(self, topic_name: str, message: str) -> None:
"""
向指定主题发送消息。
Args:
topic_name (str): 主题名称。
message (str): 要发送的消息。
Returns:
None
"""
producer = KafkaProducer(bootstrap_servers=self.bootstrap_servers)
producer.send(topic_name, message.encode('utf-8'))
producer.flush()
def consume_messages(self, topic_name: str, group_id: str, auto_offset_reset: str = 'earliest') -> Iterator[str]:
"""
创建一个消费者并消费指定主题的消息。
Args:
topic_name (str): 主题名称。
group_id (str): 消费者组ID。
auto_offset_reset (str, optional): 初始偏移量设置。默认为'earliest'。
Yields:
Iterator[str]: 消费到的消息迭代器。
"""
consumer = KafkaConsumer(topic_name, group_id=group_id,
bootstrap_servers=self.bootstrap_servers,
auto_offset_reset=auto_offset_reset)
for message in consumer:
yield message.value.decode('utf-8')
def close(self) -> None:
"""
关闭 KafkaHelper。
Returns:
None
"""
pass
使用示例
kafka_servers = 'localhost:9092'
kafka = KafkaHelper(kafka_servers)
kafka.create_topic('my_topic', num_partitions=3, replication_factor=1)
kafka.send_message('my_topic', 'Hello, Kafka!')
consumer = kafka.consume_messages('my_topic', 'my_consumer_group')
for message in consumer:
print(message)
kafka.delete_topic('my_topic')
kafka.close()