kafka python使用方法_kafka python-如何提交分区？

from kafka import KafkaConsumer

from kafka import TopicPartition

TOPIC = "test_topic"

PARTITION = 0

consumer = KafkaConsumer(

group_id=TOPIC,

auto_offset_reset="earliest",

bootstrap_servers="localhost:9092",

request_timeout_ms=100000,

session_timeout_ms=99000,

max_poll_records=100,

)

topic_partition = TopicPartition(TOPIC, PARTITION)

# format: topic, partition

consumer.assign([topic_partition])

consumer.seek(topic_partition, 1660000)

# format: TopicPartition, offset. 1660000 is the offset been set.

for message in consumer:

# do something这只分配一个分区并设置该分区的偏移量，如果有多个分区，则需要为每个分区分配一个，然后设置偏移量。

aalmeida88的答案有时对我有用，在某些情况下，它确实有用，aalmeida88给了我一些想法去寻找，它似乎也是一种有用的方法。

您可能需要注意的另一件事是，当您自己分配分区时，kafka管理器似乎无法获取使用者信息，这可能是因为当您分配分区时，您在kafka而不是zookeeper中设置它，因此kafka管理器可能无法获取该信息。

希望有帮助！

---编辑---

找一个更好的方法去做。topic_partition = TopicPartition(TOPIC,

message.partition)

consumer.seek(topic_partition, offset_value)

consumer.commit()

这将从从kafka获得的消息中提取分区信息，并保存该子句以手动分配分区，从而在程序中需要设置多个分区的偏移量(这并不少见)时带来方便。

注意：为了确保一个分区只设置一次，应该根据您的应用程序设置一个标志。