kafka 手动维护offset，消费新topic 数据消费不了历史数据

自动提交管理后，kafka不会维护该消费者组对应topic的offset

消费者组消费新的topic数据的时候默认从endoffset开始，不会消费历史数据，消费历史数据需要配置 “auto.offset.reset”=“earliest”

// kafka消费者配置
var kafkaParam = collection.mutable.Map(
“bootstrap.servers” -> broker_list,//用于初始化链接到集群的地址
“key.deserializer” -> classOf[StringDeserializer],
“value.deserializer” -> classOf[StringDeserializer],
//用于标识这个消费者属于哪个消费团体
“group.id” -> groupid,
//如果没有初始化偏移量或者当前的偏移量不存在任何服务器上，可以使用这个配置属性
//可以使用这个配置，latest自动重置偏移量为最新的偏移量
“auto.offset.reset” -> “latest”,
//如果是true，则这个消费者的偏移量会在后台自动提交,但是kafka宕机容易丢失数据
//如果是false，会需要手动维护kafka偏移量
“enable.auto.commit” -> (false: java.lang.Boolean)
)