1.背景描述
我们有一个数据集合,需要定期进行大数据处理。
从Kafka会不定期获取新的数据,需要补充到该集合中;每一条数据都有过期时间,过期后需要从集合中删除。
2.思路
1)整个数据集合采用RDD保存在Spark集群的内存中。
2)在服务启动时从MongoDB获取初始数据集合。
3)通过Kafka拉取的数据,生成小的RDD,与大的数据集合进行Union操作
4)Union完成后根据过期时间进行filter
3.具体代码
1)从MongoDB获取初始数据集合
|
我们有一个数据集合,需要定期进行大数据处理。
从Kafka会不定期获取新的数据,需要补充到该集合中;每一条数据都有过期时间,过期后需要从集合中删除。
1)整个数据集合采用RDD保存在Spark集群的内存中。
2)在服务启动时从MongoDB获取初始数据集合。
3)通过Kafka拉取的数据,生成小的RDD,与大的数据集合进行Union操作
4)Union完成后根据过期时间进行filter
1)从MongoDB获取初始数据集合
|