获取kafka 消息

最新推荐文章于 2024-06-26 22:50:47 发布

Mr孙吵吵

最新推荐文章于 2024-06-26 22:50:47 发布

阅读量100

点赞数

分类专栏： python代码文章标签： kafka 分布式

本文链接：https://blog.csdn.net/qq_22200671/article/details/131725235

版权

python代码专栏收录该内容

6 篇文章 0 订阅

订阅专栏

该代码示例展示了一个使用Python的KafkaConsumer库来连接到Kafka服务器，消费指定topic的消息，并对JSON格式的数据进行解码和处理。当接收到键盘中断时，程序会优雅地终止；遇到其他异常时，会打印错误信息。

摘要由CSDN通过智能技术生成

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

from kafka import KafkaConsumer

def main():
    """主程序入口"""
    # file_manager.clear_event_data()
    try:
        # 创建消费者并指定topic和kafka服务器。
        consumer = KafkaConsumer(topic, bootstrap_servers=['211.100.15.227:9123', '241.102.15.128:6654'])
        # 持续消费kafka中的信息，提取数据，并通过user_id过滤。
        for msg in consumer:
            kfk_value = f"{msg.value.decode()}"  # print(f"value={msg.value.decode()}")
            dic_value = json.loads(kfk_value)  # 将JSON对象转换为Python字典
    except KeyboardInterrupt:
        print("--程序被终止---")
    except Exception as ex:
        print(ex)

if __name__ == '__main__':
    main()