说下spark中的transform和action

最新推荐文章于 2024-05-28 22:46:39 发布

weixin_34254823

最新推荐文章于 2024-05-28 22:46:39 发布

阅读量2k

点赞数 1

文章标签：大数据 c# scala

原文链接：https://my.oschina.net/134596/blog/3037972

版权

本文介绍了Spark中的Transformation和Action操作。Transformation包括map、filter、flatMap等，它们是懒策略，仅在Action触发时执行计算。Action如reduce、collect、count等用于获取结果或保存数据。了解这些操作对于有效使用Spark进行大数据处理至关重要。

摘要由CSDN通过智能技术生成

为什么80%的码农都做不了架构师？>>>

1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD

2，action是得到一个值，或者一个结果（直接将RDD cache到内存中）

所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。

transformation常见操作：

1. map(func):对调用map的RDD数据集中的每个element都使用func，然后返回一个新的RDD,这个返回的数据集是分布式的数据集
2. filter(func) : 对调用filter的RDD数据集中的每个元素都使用func，然后返回一个包含使func为true的元素构成的RDD
3. flatMap(func):和map差不多，但是flatMap生成的是多个结果
4. mapPartitions(func):和map很像，但是map是每个element，而mapPartiti