天天 debug

“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的问题Spark Streaming 从Kafka中接收数据，其有两种方法：（1）、使用Receivers和Kafka高层次的API；（2）、使用 Direct API，这是使用低层次的Kafka API，并没有使用到Receivers，是Spark1.3.0中开始引入。由于本篇文章使用的

在上一遍《“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的问题》中说到，当时是将 topic 的 partition 的 offset 保存到了 MySQL 数据库中，其存在一个问题，就是无法在现有的监控工具中进行体现（如：Kafka Manager）。那我们现在就来将此offset保存到zookeeper中，从而使用监控工具发挥其效

在上一遍《将 Spark Streaming + Kafka direct 的 offset 保存进入Zookeeper》中，我们已经成功的将 topic 的 partition 的 offset 保存到了 Zookeeper中，使监控工具发挥了其监控效果。那现在是时候来处理《“Spark Streaming + Kafka direct + checkpoints + 代码改变” 引发的问题》中提

在之前的文章中，曾经提到了，如何在使用 Kafka Direct API 处理消费时，将每个Partition的offset写到Zookeeper中，并且在应用重新启动或者应用升级时，可以通过读取Zookeeper中的offset恢复之前的处理位置，进而继续工作。而本篇文章则将要介绍另外一个 Spark Streaming + Kafka 的利器 – Kafka-spark-consumer 项目。

在之前的文章中提到了，使用 Spark Streaming + Kafka-spark-consumer 来应对Driver程序代码改变，无法从checkpoint中反序列化的问题，即其会自动将kafka的topic中，每个partition的消费offset写入到zookeeper中，当应用重新启动的时候，其可以直接从zookeeper中恢复，但是其也存在一个问题就是：Kafka Manager