此处ip可以是多个[‘0.0.0.1:9092’,‘0.0.0.2:9092’,‘0.0.0.3:9092’ ]
producer = KafkaProducer(bootstrap_servers=[‘localhost:9092’], compression_type=‘gzip’)
for i in range(3):
msg = “msg%d” % i
producer.send(‘test’, msg)
producer.close()
若消息过大,可压缩消息发送,可选值为 gzip
, snappy
, lz4
。
-- coding:utf-8 --
import json
from kafka import KafkaProducer
此处ip可以是多个[‘0.0.0.1:9092’,‘0.0.0.2:9092’,‘0.0.0.3:9092’ ]
producer = KafkaProducer(bootstrap_servers=[‘localhost:9092’], value_serializer=lambda m: json.dumps(m).encode(‘ascii’))
for i in range(3):
msg = “msg%d” % i
producer.send(‘test’, {msg: msg})
producer.close()
-- coding:utf-8 --
from kafka import KafkaConsumer
consumer = KafkaConsumer(‘test’, bootstrap_servers=[‘localhost:9092’])
for message in consumer:
print (“%s:%d:%d: key=%s value=%s” % (message.topic, message.partition, message.offset, message.key, message.value))
先启动消费者,再启动生产者,可以看到消费者程序可以正常消费消息。
-- coding:utf-8 --
import json
from kafka import KafkaConsumer
consumer = KafkaConsumer(‘test’, bootstrap_servers=[‘localhost:9092’],
value_deserializer=lambda m: json.loads(m.decode(‘ascii’)))
for message in consumer:
print (“%s:%d:%d: key=%s value=%s” % (message.topic, message.partition, message.offset, message.key, message.value))
key 同样支持 json 格式生产和消费,只需指定 key_serializer
和 key_deserializer
。
-- coding:utf-8 --
from kafka import KafkaConsumer
consumer = KafkaConsumer(‘test’, bootstrap_servers=[‘localhost:9092’], auto_offset_reset=‘earliest’)
for message in consumer:
print (“%s:%d:%d: key=%s value=%s” % (message.topic, message.partition, message.offset, message.key, message.value))
earliest 移到最早的可用消息,latest 最新的消息。
-- coding:utf-8 --
from kafka import KafkaConsumer
from kafka.structs import TopicPartition
consumer = KafkaConsumer(‘test’, bootstrap_servers=[‘localhost:9092’])
获取test主题的分区信息
print consumer.partitions_for_topic(‘test’)
获取主题列表
print consumer.topics()
获取当前消费者订阅的主题
print consumer.subscription()
获取当前消费者topic、分区信息
print consumer.assignment()
获取当前主题的最新偏移量
print consumer.position(TopicPartition(topic=‘test’, partition=0))
重置偏移量,从第1个偏移量消费
consumer.seek(TopicPartition(topic=‘test’, partition=0), 1)
for message in consumer:
print (“%s:%d:%d: key=%s value=%s” % (message.topic, message.partition, message.offset, message.key, message.value))
-- coding:utf-8 --
from kafka import KafkaConsumer
consumer = KafkaConsumer(bootstrap_servers=[‘localhost:9092’])
订阅要消费的主题
consumer.subscribe(topics=[‘test’, ‘test0’])
for message in consumer:
print (“%s:%d:%d: key=%s value=%s” % (message.topic, message.partition, message.offset, message.key, message.value))
-- coding:utf-8 --
import time
from kafka import KafkaConsumer
consumer = KafkaConsumer(bootstrap_servers=[‘localhost:9092’])
订阅要消费的主题
最后
🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!