spark的translate和action

最新推荐文章于 2023-07-31 09:42:08 发布

fly1056601582

最新推荐文章于 2023-07-31 09:42:08 发布

阅读量601

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/fly1056601582/article/details/80929426

版权

本文详细介绍了Spark中的translate和action操作。首先，讲解了translate在处理单个RDD时的应用，接着阐述了如何在两个RDD间进行操作。然后，讨论了action的作用，帮助读者深入理解Spark的数据处理流程。

摘要由CSDN通过智能技术生成

之前对spark的一直进行学习和操作，最近准备系统的学习一下的。对于translate和action有一定了解，但是不是很全面。所以在这篇博客中整理一下的。

函数名	目的	示例	结果	备注
map()	将函数应用于RDD中的每个元素，将返回值构成新的RDD	rdd.map(lambd x:x+1)	{2,3,4,5}	和python的基本用法差不多
flatmap()	将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD。通常用来切分单词	rdd.flatMap(lambda x:x.split(“,”))	{1,2,3,2,3,3,3}
filter()	返回一个由通过传给filter()的函数的元素组成的RDD	rdd.filter(x=>x!=1)
	和python的算法很像
distinct()	去重	rdd.distinct()	{1,2,3}	..
sample(withReplacement,fraction,[seed])	对RDD采样，以及是否替换，第一个参数是是否

关注