Kafka偏移量写入mysql中异常

最新推荐文章于 2022-04-27 15:21:01 发布

一夜月色

最新推荐文章于 2022-04-27 15:21:01 发布

阅读量286

点赞数

文章标签： kafka mysql

本文链接：https://blog.csdn.net/qq_46118470/article/details/103914128

版权

错误写法：

resultDStream1.foreachRDD{ rdd => {
      offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
      KafkaOffsetSave(offsetRanges)
      rdd.foreachPartition{ partitionOfRecords => {
        val connection = getConnection()
        partitionOfRecords.foreach{ record => {
        ......

出现报错：

- Error running job streaming job 1578567900000 ms.2
java.lang.ClassCastException: org.apache.spark.rdd.ShuffledRDD cannot be cast to org.apache.spark.streaming.kafka010.HasOffsetRanges

原因：
ShuffledRDD不能转换成HasOffsetRanges，HasOffsetRanges只能通过KafkaRDD转换成。
在这里插入图片描述
只有通过InputDStream所得到的第一手数据才包含KafkaRDD

    val inDStream: InputDStream[ConsumerRecord[String, String]] = KafkaOffsetRead(ssc, kafkaParams, topics ,topic)
    var offsetRanges = Array[OffsetRange]()
    inDStream.foreachRDD { rdd =>
      //获取偏移对象数组
      offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
      KafkaOffsetSave(offsetRanges)
    }