Transformation算子，action算子，产生shuffle的算子

最新推荐文章于 2024-08-25 23:50:29 发布
最新推荐文章于 2024-08-25 23:50:29 发布
阅读量164 收藏 1
点赞数
文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/healthsunny/article/details/125363541
版权
本文详细介绍了Spark中的转换算子，包括map、filter、reduceByKey等，以及行动算子如reduce、collect和saveAsTextFile。讨论了产生shuffle的操作，如distinct和groupByKey，并提及了重分区、排序和集合操作。这些算子在大数据处理中起到关键作用，帮助用户进行数据清洗、聚合和存储。
摘要由CSDN通过智能技术生成

Transformation转换算子的官方文档方法集合包含如下：
map
filter
flatMap
mapPartitions
mapPartitionsWithIndex
sample
union
intersection
distinct
groupByKey
reduceByKey
aggregateByKey
sortByKey
join
cogroup
cartesian
pipe
coalesce
repartition
repartitionAndSortWithinPartitions

Action算子的官方文档方法集合包含如下
reduce
collect
count
first
take
takeSample
takeOrdered
saveAsTextFile
saveAsSequenceFile
saveAsObjectFile
countByKey
foreach

Spark会产生shuffle的算子
去重

distinct

聚合

reduceByKey
groupBy
groupByKey
aggregateByKey
combineByKey

排序

sortByKey
sortBy

重分区

coalesce
repartition

集合或者表操作

intersection
subtract
subtractByKey
join
leftOuterJoin

healthsunny
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SparkTransformation和Action算子速查表.zip
07-06
此外，尽可能使用Transformation算子来保持延迟执行的优点，同时谨慎使用Action算子，以避免不必要的计算或内存压力。 在实际开发中，结合使用Transformation和Action算子，可以构建出复杂的数据处理流程。这份速...
大数据之spark_spark的Action算子解析
WuBoooo的博客
09-23 359
所有的Action算子底层都是直接或间接调用了runJob方法触发Action的 collect 将数据收集到Driver端,并且收集的时候,是按分区编号的顺序进行收集的,所以sort排序后的数据展示出来才能看出是排好序的,collect有一个问题,就是当需要收集的数据太多时,超过内存空间就不会再收集了,因为collect收集过来的数据是存在内存当中的,不会溢写到磁盘,所以用这种方法展示数据,可能会导致数据丢失 val rdd1 = sc.parallelize(List(1,2,3,4,5), 2) rd
Spark源码解读之Shuffle原理剖析与源码分析
不清不慎的博客
08-20 3001
在前面几篇文章中，介绍了Spark的启动流程Spark内核架构流程深度剖析，Spark源码分析之DAGScheduler详解，Spark源码解读之Executor以及Task工作原理剖析，Spark源码解读之Executor以及Task工作原理剖析等Spark重要组件的源码剖析之后，接着之前的文章，本篇文章来剖析Shuffle的原理，shuffle阶段无论是mapreduce还是Spark都是其核...
mysql中on与where的区别
qq_43597141的博客
09-29 232
Mysql中on与where的区别on的使用where的使用 on的使用 on的操作时基于前面的表进行操作 where的使用 where的使用时基于前面的表进行查询后生成的临时表进行的数据过滤 例如 select * from a left join b on a.id=b.id where a.id=15 where 的操作是在a表与b表进行关联后的临时表进行操作 可能数据什么都没有 但是 on的操作回保留a表中的数据 ...
Spark大数据处理：技术、应用与性能优化(全)(更多IT教程 微信dtygxmb).docx
08-12
Transformation算子创建新的RDD，而Action算子触发实际的计算并可能返回结果给驱动程序。 Spark的工作机制包括应用执行、调度与任务分配、I/O、通信以及容错等方面。其中，调度系统使用Stage和TaskSetManager来管理...
01-2022年北京大数据面试题汇总.pdf
04-14
Transformation算子是惰性的，不会立即执行；Action算子则会触发实际计算。 2. **Shuffle操作**： - Spark中常见的Shuffle操作包括GroupByKey、ReduceByKey、Join等。 - Shuffle操作会导致数据在网络中传输，因此...
Apache Spark RDD面试题
02-19
这些算子的调用会触发相应的操作被执行，其中 `Transformation` 会返回一个新的 RDD，而 `Action` 会触发整个计算流程的执行并返回结果。 #### 五、传入函数的位置与执行 - **知识点**：在调用 RDD 的算子时，通常...
spark-core核心机制PPT讲解
08-20
- 每次遇到Shuffle操作都会产生一个新的Stage。 - 同一个Stage内部的Task之间存在窄依赖关系。 - 不同Stage之间的依赖关系通过Shuffle来实现。 ##### Task调度 - **DAGScheduler**：负责构建有向无环图(DAG)来表示...
clickhouse 原理详解
最新发布
chuige2013的博客
08-25 191
中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋，李宁公司等大型企业用户选择Greenplum的产品。Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris，Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，能够很好的支持频繁的数据插入和修改 ，但是，一旦数据量过大，OLTP便力不从心了。1、MPP数据库简介。1、MPP数据库简介。
（十六）Flink 状态管理
springk的专栏
08-24 216
根据数据集是否按照 Key 划分，将状态分为 Keyed State 和 Operator State（Non-keyed State）两种类型。本章我们将从状态的类型、状态有效期、状态存储、状态持久化方面，结合实际案例，详细进行介绍。
Linux之RabbitMQ集群部署
m0_54563444的博客
08-21 1390
消息中间件也可以称消息队列，是利用高效可靠的消息传递机制进行异步的数据传输并基于数据通信来进行分布式系统的集成。当下主流的消息中间件有等。Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是追求高吞吐量(单机可达到10万级)时效性是毫秒级的，一开始的目的就是用于日志收集和传输。对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。
Kubernetes Pod调度基础
henanchenxuyuan的博客
08-22 752
metadata:spec:selector:ports:metadata:spec:selector:template:metadata:labels:spec:ports:备注:kind:service 定义了一个名字为redis-svc 的服务,定义了一个名字为redis-sts的 statefulset，replicas 表示部署 Podkind: statefulset的副本数。
（十七）Flink 容错机制
springk的专栏
08-25 28
对于不间断 24 小时运行的程序来说，容错至关重要。Flink 定期对每个算子的所有状态进行持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。如果发生故障，Flink 可以恢复应用程序的完整状态并恢复处理，就好像没有出现任何问题一样。 本章我们针对 Checkpoint、Savepoint、作业重启调度策略做详细介绍
flink 状态参数设置
qq_18218071的博客
08-25 76
flink 状态参数
数据采集--＞kafka--＞hdfs
很开心你能来~
08-21 362
kafka数据采集
Bigtop 从0开始(上)
atbigapp的博客
08-22 392
1. BigTop通过提供预配置的Docker镜像，极大简化了在不同操作系统上编译大数据组件的rpm或deb包的过程，使之变得快捷且高效。 2. BigTop集成了编译过程中所需的复杂依赖关系，有效解决了常见的编译错误，并且通过代码中的补丁确保了流畅的编译体验。这意味着，用户不再需要为官方包无法编译或搭建复杂的编译环境而感到困扰。 3. BigTop还提供了对Apache Ambari的支持，使用户能够轻松打包与Ambari兼容、满足安装要求的大数据软件包。
AI在医学领域：通过声纹特征来预测血糖水平
声纹感知 洞察芯声
08-22 973
本文提出了一个创新的方法，即利用语音分析来预测血糖水平。血糖水平的波动会影响声带和喉部软组织的弹性，进而影响声音的物理特性。通过分析语音信号的变化，可以建立与血糖水平之间的相关性。
java操作zookeeper
shuai的博客
08-25 229
java操作zookeeper参考代码 包括连接zookeeper、创建节点、获取子节点列表、判断节点是否存在、监听等方法 注释中包含注意事项
transformation算子与action算子的关系
07-13
在Spark中，Transformation算子和Action算子是两种不同的操作类型，它们在RDD上执行不同的操作，并且它们之间有一些关系。 Transformation算子是一种惰性操作，它们不会立即执行，而是返回一个新的RDD。这些算子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值