Kafka
Cherish_the_Love
这个作者很懒,什么都没留下…
展开
-
"Spark Streaming + Kafka direct + checkpoints + 代码改变" 引发的问题(一)
一、基础内容Spark Streaming 从Kafka中接收数据,其有两种方法:(1)、使用Receivers和Kafka高层次的API;(2)、使用 Direct API,这是使用低层次的Kafka API,并没有使用到Receivers,是Spark1.3.0中开始引入。由于本篇文章使用的是第二种 Direct API 方式,所以对其进行简单的介绍一下:其会定期地从 Kafk转载 2017-11-07 11:04:26 · 367 阅读 · 0 评论 -
将 Spark Streaming + Kafka direct 的 offset 保存进入Zookeeper(二)
在上一遍《“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的问题》中说到,当时是将 topic 的 partition 的 offset 保存到了 MySQL 数据库中,其存在一个问题,就是无法在现有的监控工具中进行体现(如:Kafka Manager)。那我们现在就来将此offset保存到zookeeper中,从而使用监控工具发转载 2017-11-07 11:07:32 · 483 阅读 · 0 评论 -
Spark Streaming + Kafka direct 从Zookeeper中恢复offset(三)
在上一遍《将 Spark Streaming + Kafka direct 的 offset 保存进入Zookeeper》中,我们已经成功的将 topic 的 partition 的 offset 保存到了 Zookeeper中,使监控工具发挥了其监控效果。那现在是时候来处理《“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的转载 2017-11-07 11:10:26 · 398 阅读 · 0 评论