kafka
sxf_0123
这个作者很懒,什么都没留下…
展开
-
如何在已有CM集群环境中添加kafka组件
参考kafka升级CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等分析一、升级原因1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业务计算的需求。2、 现有集群计算引擎是基于MR2,计算能力相对较弱。综合以上因素,决定在已有的集群组件中添加 : flume、kafka 与 spark 组件,以期提升集群的计算能力...转载 2020-03-08 16:32:22 · 280 阅读 · 0 评论 -
python 查看kafka发送的消息格式及消息内容
from pykafka import KafkaClientclient = KafkaClient(hosts="10.37.22.176:9092")topic = client.topics[b'rtz_am_queue'] #topic名称consumer = topic.get_simple_consumer()for record in consumer: ...原创 2018-09-03 22:49:56 · 2349 阅读 · 0 评论 -
pykafka 中的broker判断kafka集群的所有ip,topic,
from pykafka import KafkaClientclient = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092")# client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7....原创 2018-09-27 17:23:28 · 2118 阅读 · 0 评论 -
python操作kafka
1、查看kafka集群中所有的topicfrom pykafka import KafkaClientclient = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092")print(client.topics) #查找kafka集群中所有的topic# {b'r_queue': N...原创 2018-09-27 17:32:16 · 488 阅读 · 0 评论 -
python 在一定时间段获取kafka数据
from pykafka import KafkaClientfrom pykafka.common import OffsetTypeimport datetimedef KafkaDownloader(host_, topic_, group_id_): client = KafkaClient(hosts=host_) _topic = client.topics[...原创 2018-10-09 18:58:58 · 3335 阅读 · 2 评论