本文介绍了Scala中RDD的几个关键算子，包括map、flatMap、mapPartitions、sample、union、intersection和cartesian。通过实例展示了如何使用这些算子处理数据，例如在word count场景中的应用，以及如何进行数据抽样、合并、查找交集和创建笛卡尔乘积。
RDD常用算子
1.map(Func)
val sentence = Array(
"Hello world ! I am an engineer ! good bye world!","good bye world !"
)
val strdd = sc.parallelize(sentence)
val wordcount = strdd.flatMap(line => line.split(" ")).map(line => (line,1)).groupByKey().map(a=>(a._1,a._2.sum)).collect
2.flatMap(fun) 将map的结果中list展开
val sentence = Array(
"Hello world ! I am an engineer ! good bye world!","good bye world !"
)
val strdd = sc.parallelize(sentence)
val wordcount = strdd.flatMap(line => line.split(" ")).map(line => (line,1))
最低0.47元/天 解锁文章
扫一扫
1537
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
