kafka
文章平均质量分 71
LonelysWorld
专注大数据 Spark , Flink 等 技术;励志成为大数据架构师。
展开
-
Spark获取Kafka数据的两种方式(源码)
简单解析一下DirectKafkaInputDStream的概念1:获取kafka数据 由于DirectKafkaInputDStream 不是继承自ReceiverInputDStream。所以不需要有Receiver 所以也就没有获取数据,然后将数据存在内存block里面,也就没有block信息等等 2:读取数据 使用Direct的方式的好处之一就是,在要使用数据的时候才去取数据。 在原创 2017-02-06 14:11:51 · 6548 阅读 · 2 评论 -
Kafka-manager 安装
Kafka-manager的安装git源码地址: https://github.com/yahoo/kafka-manager/tree/master 参考博客:https://blog.csdn.net/isea533/article/details/73727485 环境准备: – java 8 – kafka-manager – sbt 步骤: - 1:下载源码编译...原创 2018-06-20 09:19:05 · 452 阅读 · 0 评论