Spark Streaming 整合Kafka的 Offset 管理【数据零丢失之 checkpoint 方式管理Offset】

最新推荐文章于 2022-10-12 22:42:41 发布

留歌留歌

最新推荐文章于 2022-10-12 22:42:41 发布

阅读量536

点赞数

分类专栏：每天demo spark 文章标签： spark kafka checkpoint

本文链接：https://blog.csdn.net/liuge36/article/details/99680957

版权

本文详细介绍了如何在Spark Streaming中整合Kafka，利用Checkpoint机制来确保数据零丢失，有效管理Kafka的Offset，保证数据处理的准确性和一致性。

摘要由CSDN通过智能技术生成

import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{
   Duration, Seconds, StreamingContext}

/**
  * Description: offset : checkpoint ==>meta write to hdfs
  *
  * 使用的0.8版本  spark-streaming-kafka-0-8_2.11
  *
  * checkpoint缺点：采用这种方式管理offset ,当你的业务逻辑代码发生变化，你的checkpoint 就无法使用到了
  *
  * @Author: 留歌36
  * @Date: 2019/8/15 10:40
  */
object Offset02App {
   
  def main(args: Array[<