// 对数据进行过滤,取时间为最新的那条记录
val inputFilterIterable: RDD[(String, String)] = inputFeedRDD.map(inputRDD => {
val a: ConsumerRecord[String, String] = inputRDD
val inputString: String = inputRDD.value()
val inputDataJson: JSONObject = JSON.parseObject(inputString)
val feedBackJavaBean: FeedbackDTO = JSON.parseObject(inputString, classOf[FeedbackDTO])
(feedBackJavaBean.getROW_ID.trim + feedBackJavaBean.getLAST_UPD_DATE, inputString)
})
.reduceByKey((v1, v2) => {
// 相同去重关键字的数据,对时间字段进行比较,保留时间最大的
val key: FeedbackDTO = JSON.parseObject(v1, classOf[FeedbackDTO])
val value: FeedbackDTO = JSON.parseObject(v2, classOf[FeedbackDTO])
if (key.getLAST_UPD_DATE.toString >= value.getLAST_UPD_DATE.toString()) {
v1
}
else {
v2
}
})