![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
sxf_0123
这个作者很懒,什么都没留下…
展开
-
如何在已有CM集群环境中添加kafka组件
参考 kafka升级 CDH5与CM5环境搭建 场景 怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等 分析 一、升级原因 1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业务计算的需求。 2、 现有集群计算引擎是基于MR2,计算能力相对较弱。 综合以上因素,决定在已有的集群组件中添加 : flume、kafka 与 spark 组件,以期提升集群的计算能力...转载 2020-03-08 16:32:22 · 276 阅读 · 0 评论 -
python 查看kafka发送的消息格式及消息内容
from pykafka import KafkaClient client = KafkaClient(hosts="10.37.22.176:9092") topic = client.topics[b'rtz_am_queue'] #topic名称 consumer = topic.get_simple_consumer() for record in consumer: ...原创 2018-09-03 22:49:56 · 2340 阅读 · 0 评论 -
pykafka 中的broker判断kafka集群的所有ip,topic,
from pykafka import KafkaClient client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092") # client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7....原创 2018-09-27 17:23:28 · 2107 阅读 · 0 评论 -
python操作kafka
1、查看kafka集群中所有的topic from pykafka import KafkaClient client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092") print(client.topics) #查找kafka集群中所有的topic # {b'r_queue': N...原创 2018-09-27 17:32:16 · 476 阅读 · 0 评论 -
python 在一定时间段获取kafka数据
from pykafka import KafkaClient from pykafka.common import OffsetType import datetime def KafkaDownloader(host_, topic_, group_id_): client = KafkaClient(hosts=host_) _topic = client.topics[...原创 2018-10-09 18:58:58 · 3317 阅读 · 2 评论