SparkStreaming 根据指定字段进行去重,并保留时间为最新的那条记录(消费Kafka版本为 0.10)
// 对数据进行过滤,取时间为最新的那条记录
val inputFilterIterable: RDD[(String, String)] = inputFeedRDD.map(inputRDD => {
val a: ConsumerRecord[String, String] = inputRDD
val in...
原创
2019-03-20 23:15:55 ·
2094 阅读 ·
0 评论