SparkRDD编程练习

最新推荐文章于 2021-05-01 16:58:50 发布

清明采薇

最新推荐文章于 2021-05-01 16:58:50 发布

阅读量383

点赞数 1

分类专栏：基础技能 Spark rdd 文章标签： spark hadoop mapreduce

本文链接：https://blog.csdn.net/linanmengxiaoai/article/details/80616679

版权

本文介绍了Spark中RDD的常用算子，如map、mapPartitions、foreach、foreachPatition等，并通过具体练习题目展示了如何使用这些算子来处理大规模数据，包括计算IP数量、找出特定条件的IP、统计用户出现次数及IP个数，以及找到IP最多的前K个用户。

摘要由CSDN通过智能技术生成

Spark中的常用算子（map,mapPartitions，foreach，foreachPatition）

map：用于遍历RDD，将函数应用于每一个元素，返回新的RDD（transformation算子）

foreach：用于遍历RDD，将函数应用于每一个元素，无返回值（action算子）

mapPatitions：用于遍历操作RDD中的每一个分区，返回生成一个新的RDD（transformation算子）

foreachPatition：用于遍历操作RDD中的每一个分区，无返回值（action算子）

总结：一般使用mapPatitions和foreachPatition算子比map和foreach更加高效，推荐使用。

今天学习了一下Spark中的RDD的编程，熟悉了一下RDD常用的接口，看到网上有一道题，使用RDD的接口去实现了一下，RDD编程确实强大！

如下：在（ip user）的键值对中（空格分隔），如

a.text 
127.0.0.1 xiaozhang 
127.0.0.1 xiaoli 
127.0.0.2 wangwu 
127.0.0.3 lisi 
….. 
B.text 
127.0.0.4 lixiaolu 
127.0.0.5 lisi 
127.0.0.3 zhangsan

关注

专栏目录