python脚本 从Kafka消费数据

前言：

小组领导让我写一个实时消费Kafka日志的脚本，我就一直在kafka Manager上找能创建消费者的地方，找了半天没找到！！！后来才明白，是脚本中你写的是哪个消费者就会自动创建消费者^_^!尴尬，下面是我的脚本，group_id是自动创建的消费者，运行完脚本kafka Manager上就会有这个group_id的消费者。

# -*- coding: UTF-8 -*-
import sys
from kafka import KafkaConsumer
'''从kafka读取日志'''

reload(sys)
sys.setdefaultencoding('utf8')


# 你要消费的topic
topic = 'web_car_source_log'

# 创建的消费者名称
group_id = 'web_car_log_format'


# 消费者实例
consumer = KafkaConsumer(topic, group_id=group_id, bootstrap_servers=['kafka_ip:9092', 'kafka_ip:9092', 'kafka_ip:9092'])


for message in consumer:
    line = message.value
    # 再这里可以处理你的业务逻辑
    print(line)
exit()

亲测可用。完毕