Spark实时项目第三天-精准一次消费|手动提交偏移

最新推荐文章于 2023-06-26 22:38:04 发布

SmallScorpion

最新推荐文章于 2023-06-26 22:38:04 发布

阅读量1.2k

点赞数

分类专栏： Spark实时项目实战文章标签： kafka java spark redis 大数据

本文链接：https://blog.csdn.net/qq_40180229/article/details/106101158

版权

本文详细介绍了如何在Spark实时处理中实现精确一次消费，通过手动提交Kafka偏移量，利用Redis来保存这些偏移量，以确保数据不丢失和不重复。文章包括问题背景、解决方案的阐述，以及 OffsetManagerUtil 工具类的编写和DAUApp的完整代码展示，最后进行了结果测试。

摘要由CSDN通过智能技术生成

精确一次消费

在这里插入图片描述

问题产生

在这里插入图片描述

解决方案

在这里插入图片描述

手动提交偏移量

在这里插入图片描述

用Redis保存偏移量原因

在这里插入图片描述

编写OffsetManagerUtil

在scala\com\atguigu\gmall\realtime\utils\OffsetManagerUtil

import java.util

import org.apache.kafka.common.TopicPartition
import org.apache.spark.streaming.kafka010.OffsetRange
import redis.clients.jedis.Jedis
import  scala.collection.JavaConversions._
object OffsetManagerUtil {
   


  /**
   * 从Redis中读取偏移量
   * @param groupId
   * @param topic
   * @return
   */
  def getOffset(groupId:String,topic:String):Map[TopicPartition,Long]={
   
    var offsetMap=Map[TopicPartition,Long]()

    val jedisClient: Jedis = RedisUtil.getJedisClient

    val redisOffsetMap: util.Map[String, String] = jedisClient.hgetAll("offset:"+groupId+":"+topic)
    jedisClient.close()
    if(redisOffsetMap!=null&&redisOffsetMap.isEmpty){
   
      null
    }else {
   

      val redisOffsetList: List[(String, String)] = redisOffsetMap.toList

      val kafkaOffsetList: List[(TopicPartition, Long)] = redisOffsetList.map {
    case ( partition, offset) =>
        (new TopicPartition(topic, partition.toInt), offset.toLong)
      }
      kafkaOffsetList.toMap
    }
  }

  /**
   * 偏移量写入到Redis中
   * @param groupId
   * @param topic
   * @param offsetArray
   */
  def saveOffset(groupId:String,topic:String ,offsetArray:Array[OffsetRange]):Unit= {
   
    if (offsetArray != null && offsetArray.size >