SparkStreaming集合增量更新方法

1.背景描述

我们有一个数据集合，需要定期进行大数据处理。

从Kafka会不定期获取新的数据，需要补充到该集合中；每一条数据都有过期时间，过期后需要从集合中删除。

2.思路

1）整个数据集合采用RDD保存在Spark集群的内存中。

2）在服务启动时从MongoDB获取初始数据集合。

3）通过Kafka拉取的数据，生成小的RDD，与大的数据集合进行Union操作

4）Union完成后根据过期时间进行filter

3.具体代码

1）从MongoDB获取初始数据集合

package xxx.demo.scala_test import org.apache.spark._ import org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.streaming.kafka._ import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession import org.apache.spark.sql.DataFrame import org.apache.spark.sql.types._ import org.apache.spark.sql.Dataset import org.apache.spark.sql.Row import org.slf4j.LoggerFactory import