仓库位置
日志生成:https://github.com/SmallScorpion/gmall-mock.git
日志服务器:https://github.com/SmallScorpion/gmall-spark-ch-es-realtime.git
手动提交偏移量
- 第一次读取会加载Redis数据,若是redis中没有数据那么将消费kafka起始数据,经过业务计算保存到redis中
- 中间循环过程是业务到redis保存数据的过程
- 若中途宕机,重启进程服务都会读取redis偏移量位置进行消费
OffsetManager
package com.warehouse.gmall.realtime.util
import java.util
import org.apache.kafka.common.TopicPartition
import redis.clients.jedis.Jedis
import scala