RDD算子

最新推荐文章于 2024-07-16 22:38:10 发布
最新推荐文章于 2024-07-16 22:38:10 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： Spark Core 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/accptanggang/article/details/52664360
版权
本文详细介绍了Spark的RDD算子，包括Value型Transformation算子（如map、filter）、Key-Value型Transformation算子（如reduceByKey、join）以及Action算子（如collect、saveAsTextFile）。内容涵盖了各类算子的功能、应用场景和执行原理，例如Cache算子用于缓存RDD，foreach用于执行无输出操作，而saveAsObjectFile则将数据保存到HDFS。
摘要由CSDN通过智能技术生成
一、RDD算子可以分为三大类
1、Value数据类型的Transformation算子
2、Key-Value数据类型的Transformation算子
3、Action算子，这类算子会触发SparkContext提交Job作业。

二、Value型Transformation算子
1、输入分区与输出分区一对一型
map
flatMap
mapPartitions
glom：将每个分区形成一个数组，内部实现是返回的GlommedRDD。
2、输入分区与输出分区多对一型
union
cartesian：对两个RDD内的所有元素进行笛卡尔积操作，操作后，内部实现返回CartesianRDD。
3、输入分区与输出分区多对多型
groupBy:将元素通过函数生成相应的Key，数据就转化为Key-Value格式，
之后将Key相同的元素分为一组。

4、输出分区为输入分区子集型
filter
distinct
subtract：相当于进行集合的差操作，RDD1去除RDD1和RDD2交集中的所有元素。
sample
takeSample
5、还有一种特殊的输入与输出分区一对一的算子类型：Cache型。
   C
最低0.47元/天 解锁文章
霄嵩
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark基础学习笔记17：掌握RDD算子
howard2005的专栏
03-12 2515
RDD转化算子、RDD行动算子
Spark学习笔记11:RDD算子
balabalalibala的博客
05-20 1011
RDD 算子
RDD常用算子
weixin_48626604的博客
03-18 514
RDD常用算子 1.什么是RDD RDD（Resilient Distributed Dataset）弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合 所有的运算以及操作都建立在RDD数据结构的基础上 可以认为RDD是分布式的列表或数组，抽象的数据结构，RDD是一个抽象类Abstract Class泛型Generic Type 2.RDD的五大特征 RDD是有分区的 RDD的分区是RDD数据储存的最小单位 一份RDD的数据，本质上是分隔
Spark RDD算子介绍
weixin_33966365的博客
02-11 179
Spark学习笔记总结 01. Spark基础 1. 介绍 Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。 2. Spark-Shell spa...
常用RDD算子讲解（Scala语言）
qq_64168588的博客
07-16 864
导读通过本节, 希望大家能够理解 RDD 的一般使用步骤// 1. 创建 SparkContext// 2. 创建 RDD// 3. 处理 RDD// 4. 行动, 得到结果通过上述代码可以看到, 其实 RDD 的整体使用步骤如下。
RDD的算子大全
qq_41878423的博客
10-10 1422
RDD的算子大全RDD的算子大全基础转换操作0. Spark初始化1.map操作2.flatMap操作3.filter操作4.distinct去重操作5.mapPartions操作6. mapPartionWithIndex 操作7.union操作8. intersection交集9. subtract差集10. cartesian 笛卡尔积11.repartion重新分区12. randomSplit按权重拆分13. glom分区变数组14.zip 拉链操作15.zipPartition操作16.zipW
RDD概述及算子大全
qq_45532779的博客
11-30 1627
RDD概述及算子 1.什么是RDD Spark是一个分布式数据集的分析框架，将计算单元缩小 为更适合分布式计算和并行计算的模型，称之为RDD RDD（Resilient Distributed Dataset）叫做弹性分布式 数据集，是Spark中最基本的数据（计算）抽象。 代码中是一个抽象类，它代表一个不可变、可分区、里面 的元素可并行计算的集合。 2.RDD的属性 一组分区（Partition）即数据集的基本组成单位 一个计算各个分区间的函数 一个有关于各个RDD间依赖关系的列表
RDD 常用算子
卡卡的博客
12-16 1057
RDD常用算子。 转换算子：map、filter、flatMap、reduceByKey、groupByKey和sortByKey 触发算子：foreach、count、reduce、saveAsTextFile、collect、take和first
Spark核心编程—RDD算子(转换算子)
weixin_42570840的博客
06-13 1768
Spark核心编程、RDD转换算子
RDD算子介绍
xiaoc1008的博客
11-29 1321
rdd1 = sc.parallelize([('c01','张三'),('c02','李四'),('c02','王五'),('c01','赵六'),('c03','田七'),('c03','周八'),('c02','李九'),('c04','老张')])输入: rdd = sc.parallelize([('c01','张三'),('c02','李四'),('c02','王五'),('c01','赵六'),('c03','田七'),('c03','周八'),('c02','李九')])
RDD 算子
McGrady_Durant的博客
08-11 1433
对RDD操作，可以通过spark提供的算子完成 在spark提供的对RDD操作的算子中，分成了两类： **转换算子(transfermation): ** 从-一个RDD,经过算子处理转换成另外一个RDD。 行动算子(Action): 从一个RDD，经过算子处理，会生成一个scala对象。 转换算子是懒加载模式，只有遇到了行动算子，转换算子才会真正执行 RDD转换（Transformations）算子 转换算子(transfermation) 分成了两部分: 1.对值（value）进行操作的算子 2.对
3.1 Spark-RDD算子分类
知行合一，止于至善
08-20 903
从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发
Spark之RDD算子
柳小葱的博客
08-11 1952
今天出一期spark系列的硬货，即RDD算子，所谓算子，就是对某些事物的操作，或者说是方法。本期主要介绍几十个RDD算子，根据他们的特点，逐一进行介绍，有关spark的往期内容大家可以查看下面的内容????: 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之Dataframe基本操作. 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之核心架构. 记得我们前面说过，saprk存在着惰性评估的机制，所谓惰性评估，就是等到绝对需要时才执行计算。当用户表达
RDD算子操作（基本算子和常见算子）
2202_75347029的博客
10-19 1194
flatMap(f:T=>Seq[U]): RDD[T]=>RDD[U])，表示将RDD经由某一函数f后，转变为一个新的 RDD，但是与map 不同，RDD中的每一个元素会被映射成新的0到多个元素(f 函数返回的是一个序列Seq）。功能：将RDD的数据，加上嵌套，这个嵌套按照分区来进行，比如RDD数据[1,2,3,4,5]有两个分区，那么glom后，数据变成：[[1,2,3],[4,5]]。功能：map算子，是将RDD的数据一条条处理（处理的逻辑 基于map算子中接受的处理函数），返回新的RDD。
RDD常用算子总结
weixin_47640578的博客
07-06 3858
RDD常用算子
大数据技术之Spark（二）——RDD常用算子介绍
five小点心的博客
03-31 3329
RDD 的操作分为和。就是从一个 RDD 产生一个新的 RDD；就是进行实际的计算。我们把RDD方法也称为算子。所以转换操作和行动操作一般也被叫做和。
spark RDD算子
最新发布
08-10
Spark RDD（Resilient Distributed Datasets）是一种弹性分布式数据集，它是Apache Spark的核心组件。RDD算子（Operators）是处理RDD的基本操作单元，它们用于对数据进行转换和动作。Spark提供了一系列的内置算子，可以分为两类： 1. **转换（Transformation）算子**：这类算子不会直接改变原始数据集，而是返回一个新的、基于原数据的RDD。常见的转换算子有map、filter、flatMap、reduceByKey、groupByKey等，它们分别对应于对每个元素应用函数、过滤元素、扁平化映射结果、键值对归约和按键分组。 2. **行动（Action）算子**：这类算子会触发实际的数据计算，并返回一个结果到驱动程序，如count、collect、sum等。行动算子会触发整个RDD的分区计算，最后将结果合并并返回给用户。 使用这些算子，开发者可以在分布式环境中高效地处理大规模数据，通过链式API的方式构建复杂的数据处理逻辑。例如，`rdd.map(...).filter(...).reduceByKey(...)` 就是一个典型的序列计算过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值