![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
李_少
这个作者很懒,什么都没留下…
展开
-
sparkstreaming整合kafka的两种方式
sparkstreaming整合kafka的两种方式sparkstreaming整合旧版本的kafka有两种方式,一般称为Receiver方式和Direct方式。Receiver方式Receiver-based方式是基于kafka high level api来实现的。在executor节点会单独启动一个receiver线程,去持续消费kafka数据,消费到的数据放在executor内存中,当执行batch计算时,executor会去计算这些数据。这种方式有很多缺点:由于宕机或者程序失败等其他因原创 2020-08-26 19:39:46 · 304 阅读 · 0 评论 -
SparkStreaming(Java)-管理kafka偏移量
一、环境说明 组件 版本 Kafka Kafka-0.10.2.0 Spark spark-2.2 IDEA idea64-2017 Zookeeper zookeeper-3.4.5 ...原创 2019-07-01 15:46:11 · 1770 阅读 · 3 评论