Spark的常用算子与详解
Spark算子分为两类:Transformation(转换算子)和Action行动算子Transformation算子,用来将RDD进行转化,构建RDD的血缘关系。Action算子,它是用来触发RDD的计算,得到RDD的相关计算结果或者将RDD保存在文件系统中。Transformation常用算子:map:将所有的元素取出,经过func函数转换成一个新的RDDfilter:返回一个新的RDD,该RDD经过func函数计算,返回true的元素flatMap:先经过map函数,再进行flat压平
原创
2020-08-24 20:09:51 ·
442 阅读 ·
0 评论