Spark：常用transformation 转换操作及action 行动操作

最新推荐文章于 2021-05-24 16:44:26 发布

二十六画生的博客

最新推荐文章于 2021-05-24 16:44:26 发布

阅读量472

点赞数

分类专栏： Hive Spark Hadoop MapReduce 文章标签： spark 转换 transform action 行动

本文链接：https://blog.csdn.net/u010002184/article/details/113240677

版权

162 篇文章 2 订阅 ¥29.90 ¥99.00

订阅专栏

本文介绍了Spark中的常用transformation转换操作和action行动操作。在transformation部分，探讨了Spark练习中的转换操作开发；在action部分，讲解了action操作开发的相关内容，参考了相关CSDN博客文章。

摘要由CSDN通过智能技术生成

一、常用transformation介绍

操作	介绍
map	将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD
filter	对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除
flatMap	与map类似，但是对每个元素都可以返回一个或多个新元素
groupByKey	根据key进行分组，每个key对应一个Iterable<value>
reduceByKey	对每个Key对应的value进行reduce操作
sortByKey	对每个key对应的value进行排序操作
join	对两个包含<key,value>的RDD进行join操作，每个key join上的pair，都会传入自定义函数进行处理
cogroup	同join，但是每个key对应的Itreable<value>都会传入自定义函数进行处理
union、intersection、subtract、combineByKey、foldByKey