Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

最新推荐文章于 2024-06-16 23:15:39 发布
最新推荐文章于 2024-06-16 23:15:39 发布
阅读量431 收藏 1
点赞数 1
分类专栏： Spark模块化学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40180229/article/details/105598859
版权

aggregate()

在这里插入图片描述

代码实现

在这里插入图片描述

fold()

在这里插入图片描述

代码实现

在这里插入图片描述

countByKey()统计每种key的个数

1）函数签名：def countByKey(): Map[K, Long]
2）功能说明：统计每种key的个数

在这里插入图片描述

代码实现

在这里插入图片描述

save相关算子

1）saveAsTextFile(path)保存成Text文件
（1）函数签名
（2）功能说明：将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本
2）saveAsSequenceFile(path) 保存成Sequencefile文件
（1）函数签名
（2）功能说明：将数据集中的元素以Hadoop Sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。
注意：只有kv类型RDD有该操作，单值的没有
3）saveAsObjectFile(path) 序列化成对象保存到文件
（1）函数签名
（2）功能说明：用于将RDD中的元素序列化成对象，存储到文件中。

代码实现

在这里插入图片描述

SmallScorpion
关注
专栏目录
SparkCore算子整理
LiuYangCSND的博客
06-30 327
def glom(): RDD[Array[T]]
Spark的RDD转换算子与行动算子
Laoddaaa的博客
08-20 553
Spark的RDD转换算子与行动算子
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
Spark RDD算子详解
weixin_36040866的博客
02-07 3675
RDD转换算子及行动算子详细记录，附idea实操演练 转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...) 行动算子（Action）：触发任务的调度和作业的执行(collect)
Spark之RDD算子
柳小葱的博客
08-11 1984
今天出一期spark系列的硬货，即RDD算子，所谓算子，就是对某些事物的操作，或者说是方法。本期主要介绍几十个RDD算子，根据他们的特点，逐一进行介绍，有关spark的往期内容大家可以查看下面的内容????: 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之Dataframe基本操作. 链接: Spark之处理布尔、数值和字符串类型的数据. 链接: Spark之核心架构. 记得我们前面说过，saprk存在着惰性评估的机制，所谓惰性评估，就是等到绝对需要时才执行计算。当用户表达
Spark RDD算子总结
糊里糊涂走进大数据的小菜鸡
01-04 404
1、什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 弹性 存储的弹性：内存与磁盘的自动切换； 容错的弹性：数据丢失可以自动恢复； 计算的弹性：计算出错重试机制； 分片的弹性：可根据需要重新分片。 分布式：数据存储在大数据集群不同节点上 数据集：RDD 封装了计算逻辑，并不保存数据 数据抽象：RDD 是一个抽象类，需要子类具体实现
#生产实习
最新发布
m0_66148926的博客
06-16 245
​ reduceByKey()算子的作用对象是元素为(key,value)形式（Scala元组）的RDD，使用该算子可以将key相同的元素聚集到一起，最终把所有key相同的元素合并成一个元素。​ rightOuterJoin()算子的使用方法与leftOuterJoin()算子相反，其与数据库的右外连接类似，以右边的RDD为基准（例如rdd1.rightOuterJoin(rdd2)，以rdd2为基准），右边RDD的记录一定会存在。Spark会将RDD中的每个元素传入该函数的参数中。
Spark核心编程—RDD算子(行动算子)
weixin_42570840的博客
06-15 996
Spark核心编程，RDD行动算子
Spark 中的算子
a1786742005的博客
08-10 562
一、转换算子 1.1 map 算子 1、算子签名 def map[U: ClassTag](f: T => U): RDD[U] 2、算子说明 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。 3、代码演示 package spark.core.conversion_operator.map import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** *
Spark_Action行动算子
asd623444055的博客
04-25 1566
行动算子是触发了整个作业的执行。因为转换算子都是懒加载，并不会立即执行。 1.reduce()聚合 1）函数签名： def reduce(f: (T, T) => T): T 2）功能说明： f函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。 2.collect()以数组的形式返回数据集 1）函数签名： def collect(): Array[T] 2）功能说明： 在驱动程序中，以数组Array的形式返回数据集的所有元素。 3.count()返.
Spark RDD算子
weixin_47880716的博客
11-06 317
目录parallelizemakeRDDtextFilefiltermapflatMapdistinctunionintersectionsubtractcartesianmapToPairflatMapToPaircombineByKeyreduceByKeyfoldByKeySortByKey parallelize 调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试 scala版本 def paralle
SparkRDD算子
w_mchen的博客
12-25 789
SparkRDD算子分为两类：Transformation与Action. Transformation：即延迟加载数据，Transformation会记录元数据信息，当计算任务触发Action，才会真正开始计算。 Action：即立即加载数据，开始计算。 创建RDD的方式有两种： 1、通过sc.textFile(“/root/words.txt”)从文件系统中创建 RDD。 2、#通过并行化scala集合创建RDD：val rdd1 = sc.parallelize(Array(1,2,3,4,
Spark的RDD算子
weixin_43520450的博客
05-10 1033
一、RDD基础 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 1.2 RDD的属性（源码中的一段话） （1） 一组分片（Partition），即数据集的基本组成单位。对于RDD来说，
spark的rdd算子
提拉米苏的博客
11-01 571
spark的rdd算子 文章目录spark的rdd算子mapPartitionsmapWith和flatMapWithaggregateaggregateByKeycountByKeyfilterByRangeflatMapValuesfoldByKeyforeachPartitionkeyBykeys valuescollectAsMaprepartition, coalesce, partit...
Spark中RDD的算子
qq_42456324的博客
04-28 1418
1、算子的简单介绍 Transformation(转换)算子:根据数据集创建一个新的数据集,计算后返回一个新RDD,例如一个rdd进行map操作后生了一个新的rdd。 Action(动作)算子:对rdd结果计算后返回一个数值value给驱动程序(driver),例如collect算子将数据集的所有元素收集完成返回给驱动程序。 控制算子:对数据集进行特殊操作,例如cache算子将对于重复使用的算子,进行cache做缓存使用,数据只保存在内存中,性能提升。 懒执行:Spark中转化算子和控制算子是懒执行
spark RDD算子大全
zhaolq1024的博客
09-25 4826
目录 map()&&flatMap() map()&&mapPartitions() mapPartitionsWithIndex() filter() take()&&takeOrdered()&&top()&&first() sample()&&takeSample() union()...
Spark-RDD算子大全
YoungITの博客
01-16 899
Spark RDD（弹性分布式数据集）是Spark中的核心抽象，它代表一个不可变、分区的分布式数据集合。下面是一些常用的RDD算子：map(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD。filter(func)：对RDD中的每个元素应用给定的函数，返回满足条件的元素组成的新的RDD。flatMap(func)：对RDD中的每个元素应用给定的函数并返回一个迭代器，将所有迭代器的元素组合成一个新的RDD。
（3）spark RDD算子详解
qq_41123269的博客
02-24 1556
RDD 算子 其实就是rdd方法，和scala方法区分开来 分为两种 转换算子 和行动算子 转换算子 功能的补充封装 将旧的RDD包装成新的RDD 比如 map flatmap RDD整体上分为Value类型、双Value类型和Key-Value类型 map算子 – Value类型 每次处理一条数据，对数据或数据类型进行转换 def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("lo
Spark RDD 常用算子
weixin_34067049的博客
12-20 208
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark RDD 算子详解：实现原理与执行流程分析
RDD 算子是 Spark 中的一种基本操作单元，用于处理和转换 RDD 数据。下面是 Spark 1.4.1 中一些常用的 RDD 算子和它们的实现原理。 1. take(num: Int)：take 算子用于从 RDD 中取出指定数量的元素。其实现原理是，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值