/**
* union
* 合并
*/
JavaRDD rdd1 = jsc.parallelize(Arrays.asList(1,2,3,4,5,6,7),2);
JavaRDD rdd2 = jsc.parallelize(Arrays.asList(1,21,31,41,51,61,7),2);
JavaRDD rdd3 = rdd1.union(rdd2);
//System.out.println(rdd3.collect());
/**
* intersection
* 交集
*/
JavaRDD rdd4 = rdd1.intersection(rdd2);
【菜鸟系列】spark常用算子总结(java)--union,intersection,coalesce,repartition,cartesian,distinct
最新推荐文章于 2023-12-16 16:16:21 发布
本文主要介绍了Spark中几个关键的操作符,包括union、intersection、coalesce、repartition和distinct。这些操作对于数据处理和融合至关重要,尤其在Java开发中有着广泛的应用。
摘要由CSDN通过智能技术生成