RDD Transformation算子分类

最新推荐文章于 2022-11-25 16:38:52 发布
最新推荐文章于 2022-11-25 16:38:52 发布
阅读量653 收藏 1
点赞数
分类专栏： Spark 文章标签： RDD转换 算子
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SA14023053/article/details/51998764
版权

处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型:


  • 1）输入分区与输出分区一对一型

    （1）map
    （2）flatMap
    （3）mapPartitions
    （4）glom

  • 2）输入分区与输出分区多对一型

    （1）union
    （2）certesian

  • 3）输入分区与输出分区多对多型

    groupBy

  • 4）输出分区为输入分区子集型

    （1）filter
    （2）distinct
    （3）subtract
    （4）sample
    （5）takeSample

  • 5）还有一种特殊的输入与输出分区一对一的算子类型：Cache型。 Cache算子对RDD分区进行缓存

    （1）cache
    （2）persist

搬砖小工053
关注
专栏目录
大数据之RDD的算子分类
weixin_43339889的博客
05-21 728
RDD的算子分类
Spark之RDD转换算子（transformation）大全
zp17834994071的博客
08-07 4513
前面已经给大家讲过RDD原理，今天就给大家说说RDD的转换算子有哪些，以便大家理解。 对于转换操作，RDD的所有转换都不会直接计算结果，仅记录作用于RDD上的操作，当遇到动作算子（Action）时才会进行真正计算，理解了转换算子的用途，那么接下来就不能理解哪些是转换算子了，通俗的说只要没有经过聚合或计算的算子，都可以当作转换算子。 常用转换算子 map 对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应 输入分区与输出分区一一对应 案
Spark -- RDD两种算子：Transformation 和 Action
patrick_big_data的博客
02-24 1350
Transformation （1）map(func) 通过对RDD中每个元素执行一个function然后返回新的RDD /** * Return a new RDD by applying a function to all elements of this RDD. */ def map[U: ClassTag](f: T => U): RDD[U] 例如，将RDD中的...
Spark常见的Transformation算子（一）
大数据进阶之路
01-13 446
Spark常见的Transformation算子（一） parallelize 将一个存在的集合，转换成一个RDD /** Distribute a local Scala collection to form an RDD. * * @note Parallelize acts lazily. If `seq` is a mutable collection and is altered a...
【Spark】RDD操作具体解释3——键值型Transformation算子
weixin_33728268的博客
08-11 116
Transformation处理的数据为Key-Value形式的算子大致能够分为：输入分区与输出分区一对一、聚集、连接操作。 输入分区与输出分区一对一 mapValues mapValues：针对（Key，Value）型数据中的Value进行Map操作，而不正确Key进行处理。 方框代表RDD分区。a=>a+2代表仅仅对（ V1。 1）数据中的1进行加2操...
spark -- RDD-API （创建RDD RDD的方法/算子分类 Transformation转换算子 Action动作算子 统计操作 ）
kismet
04-08 1498
创建RDD 1.由外部存储系统的数据集创建，包括本地的文件系统，还有所有Hadoop支持的数据集，比如HDFS、Cassandra、HBase等 val rdd1 = sc.textFile("hdfs://node01:8020/wordcount/input/words.txt") 2.通过已有的RDD经过算子转换生成新的RDD val rdd2=rdd1.flatMap(_....
Spark中RDD的Value型Transformation算子操作（一）
zjh_746140129的博客
05-26 1189
Spark算子大致上可分为三大类算子：Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Key-Value型的数据。Action算子，这类算子会触发SparkContext提交作业。...
RDD—Transformation算子
JStana的博客
11-25 907
RDD-Transformation 算子
Spark RDD中两种算子之一：常见Transformation算子小结
weixin_44319333的博客
03-26 1575
RDD：弹性分布式数据集，是一种特殊集合，支持多来源，有容错机制，可以被缓存，支持并行操作，一个RDD代表多个分区里的数据集。 RDD有两种算子： 1.Transformation（转换）：属于延迟Lazy计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住数据集的逻辑操作； 2.Action（执行）：触发Spark作业运行，真正触发转换算子的计算； RDD中算子的运行过程： 输入...
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2252
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
3.1 Spark-RDD算子分类
知行合一，止于至善
08-20 911
从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发
Spark之Transformation类算子详解
qq_36770189的博客
07-17 270
import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ScalaSpark { def main(args: Array[String]): Unit = { val conf = new SparkConf() conf.setMaster("loc...
Spark中RDD的Key-Value型Transformation算子操作（二）
zjh_746140129的博客
05-26 646
Spark算子大致上可分为三大类算子：    Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。    Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Key-Value型的数据。    Action算子，这类算子会触发SparkContext提交作业。1、map数据集中的每个...
Spark常见的Transformation算子（二）
大数据进阶之路
01-13 211
Spark常见的Transformation算子（二） 初始化数据 println("======================= 原始数组 ===========================") val data: RDD[String] = sc.textFile("src/main/data/test.txt") println(s"原始数据为：${data.collect.toBuf...
RDD-Transformation——filter
搬砖小工053
07-24 2356
原理图filter的功能是对元素进行过滤，对每个元素应用f函数，返回值为true的元素在RDD中保留，返回为false的将过滤掉。 内部实现相当于生成FilteredRDD(this，sc.clean(f))。 图中，每个方框代表一个RDD分区。 T可以是任意的类型。通过用户自定义的过滤函数f，对每个数据项进行操作，将满足条件，返回结果为true的数据项保留。 例如，过滤掉V2、 V3保留了V1，
【Spark】RDD操作详解3——键值型Transformation算子
Jason Ding的专栏
07-11 3226
Transformation处理的数据为Key-Value形式的算子大致可以分为：输入分区与输出分区一对一、聚集、连接操作。输入分区与输出分区一对一mapValuesmapValues：针对（Key，Value）型数据中的Value进行Map操作，而不对Key进行处理。 方框代表RDD分区。a=>a+2代表只对（ V1， 1）数据中的1进行加2操作，返回结果为3。源码： /** * P
常用Transformation算子
weixin_30359021的博客
03-21 672
map 产生的键值对是tupple, split分隔出来的是数组 一、常用Transformation算子 （map 、flatMap 、filter 、groupByKey 、reduceByKey 、sortByKey 、join 、cogroup ） JAVA： package day2; import java.util.Arrays; impor...
RDD的Transformation（转换算子）
weixin_49063354的博客
09-27 467
RDD的Transformation（转换算子） RDD整体上分为Value类型、双Value类型和Key-Value类型 1 value类型 创建包名：com.xiao_after.value 1.1 map()映射 1）函数签名： def map[U: ClassTag](f: T => U): RDD[U] 2）功能说明：参数 f 是一个函数，它可以接收一个参数。当某个RDD执行map方法时， 会遍历该RDD中的每一个数据项，并依次应用 f 函数，从而产生一个新的RDD。即，这个 新的RDD
Spark算子汇总-Cartesian
chutunhong1994的博客
08-08 291
Cartesian算子操作。 Github项目上已包含Spark所有操作DEMO。 Java版本： package com.huangyueran.spark.operator; import java.util.Arrays; import java.util.List;...
transformation算子与action算子的关系
最新发布
07-13
在Spark中，Transformation算子和Action算子是两种不同的操作类型，它们在RDD上执行不同的操作，并且它们之间有一些关系。 Transformation算子是一种惰性操作，它们不会立即执行，而是返回一个新的RDD。这些算子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值