注意用代码测试的时候执行脚本的先后顺序是有影响的,我之前的测试是先执行生产者脚本,发现可以生产消息,但是在执行消费者时,消费不了消息,困惑了好久,才发现自己犯了很低级的错误,消费者里面写的是实时消费,而执行完生产者脚本后,在执行消费者脚本,导致生产者生产的数据已变成历史数据了,因此需要消费者消费历史数据,参数是auto_offset_reset='earliest',脚本才能测试通。
#!/usr/bin/env python3
# # -*- coding: utf-8 -*-import json
#import scrapy
from kafka import KafkaProducer
from pykafka import KafkaClient
class Demo01():
@staticmethod
def exe():
print('###########Demo01################')
kafka_host = '10.72.15.102' # kafka服务器地址
kafka_port = 9092 # kafka服务器的端口
producer = KafkaProducer(bootstrap_servers=['{kafka_host}:{kafka_port}'.format(
kafka_host=kafka_host,