Kafka内部数据重复小记 At Least Once(ack = -1) + 幂等性 = Exactly Once (精准一次性) 不重复:Exactly Once + 事务 Kafka数据重复,可以在下一级:SparkStreaming、redis或者hive中dwd层去重,去重的手段:分组、按照id开窗只取第一个值;