SparkRDD

最新推荐文章于 2022-12-16 21:06:34 发布

weixin_42264502

最新推荐文章于 2022-12-16 21:06:34 发布

阅读量291

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/weixin_42264502/article/details/108349001

版权

本文深入探讨了Spark中的RDD（弹性分布式数据集），包括其定义、特性、编程方法、转换算子、行动算子、序列化、依赖关系、持久化、键值对数据分区。此外，还介绍了累加器和广播变量在Spark中的应用。

摘要由CSDN通过智能技术生成

RDD

RDD定义

弹性分布式数据集，

弹性：存储弹性，内存与磁盘的自动切换

容错弹性，数据丢失可以自动恢复

计算弹性，计算出错重试机制

分片弹性，可根据需要重新分片

分布式：数据存储在大数据集群不同节点上

数据集：RDD封装了计算逻辑，并不保存数据

数据抽象：RDD是一个抽象类，需要子类具体实现

不可变：RDD封装了计算逻辑是不可变的,如果想改变要重新定义RDD

可分区、并行计算

RDD的特性

A list of partitions

多个分区，分区可以看成是数据集的基本组成单位

A function for computing each split

计算每个切片(分区)的函数.

A list of dependencies on other RDDs

与其他 RDD 之间的依赖关系

Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

对存储键值对的 RDD，还有一个可选的分区器

RDD编程

导入依赖

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.0.0</version>
    </dependency>
</dependencies>

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_42264502

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

sparkRDD函数大全

02-28

spark rdd函数大全。spark rdd操作为core操作，虽然后续版本主要以dataset来操作，但是rdd操作也是不可忽略的一部分。

Spark-Part1.大数据生态圈中的Shuffle过程

qq_42104423的博客

05-24

331

1.Shuffle 首先什么是shuffle，在Hadoop生态圈中，经常会提到MappSide和ReduceSide，这两端是最经典的MSR范式。在Hadoop中，Shuffle的过程由Map端的输出结束到Reduce端的开始，这个过程统称为Shuffle的过程。Shuffle经常围绕着大量的聚合、分组的过程。例如我们再HiveSQL中执行一条最简短的 SELECT COUNT(*) FROM TABLE GROUP BY COLUMN_A 这句SQL中group by函数就会造成shuffle过程的出

1 条评论您还未登录，请先登录后发表或查看评论

Spark性能优化指南——高级篇

zhanggf的博客

02-14

346

继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个ta

大数据groupby太慢该如何优化

wj1298250240的博客

03-04

3496

算子调优五：reduceByKey本地聚合参考：https://www.cnblogs.com/dflmg/p/10430181.html reduceByKey相较于普通的shuffle操作一个显著的特点就是会进行map端的本地聚合，map端会先对本地的数据进行combine操作，然后将数据写入给下个stage的每个task创建的文件中，也就是在map端，对每一个key对应的value，执行r...

spark学习笔记—核心算子(一)

BlueLotuss的博客

09-06

292

spark学习笔记—核心算子(一) HashPartitioner的决定分区的逻辑核心方法 def getPartition(key: Any): Int = key match { case null => 0 case _ => Utils.nonNegativeMod(key.hashCode, numPartitions) } /* Calculates 'x' modulo 'mod', takes to consideration sign of x,

SparkRDD算子--groupBy算子

寒暄的博客

07-30

3429

语法 val newRdd = olodRdd.groupBy(func) 源码 def groupBy[K](f : scala.Function1[T, K])(implicit kt : scala.reflect.ClassTag[K]) : org.apache.spark.rdd.RDD[scala.Tuple2[K, scala.Iterable[T]]] = { /* compiled code */ } 作用分组，按照传入函数的返回值进行分组。将相同的key对应的值放入一个迭代器。例

spark RDD 论文

09-09

### Spark RDD 基础论文知识点解析 #### 一、引言与背景 - **Spark RDD 的起源**：本文档介绍的是 Spark 中的核心抽象概念——弹性分布式数据集（Resilient Distributed Datasets, RDD），这一概念由加州大学...

Spark RDD Instrocution

07-01

println("There are " + sparkRDD.count() + " contains Spark lines") println("Here are 3 examples:") sparkRDD.take(3).foreach(println) ``` #### 五、Word Count 示例 Word Count 是 Spark 最经典的示例之一...

Spark思维导图之Spark RDD.png

06-11

Spark思维导图之Spark RDD.png

spark笔记（二）之RDD常用算子

weixin_44604159的博客

05-16

1403

大家好！下面是我在疫情假期期间学习的saprk算子笔记，刚刚用了一下午的时间把它整理出来分享给大家！码字实属不易如果对你有帮助，记得点赞呦！文章目录一.spark行动算子二.spark单value类型三.spark双value类型四.spark算子KV类型一.spark行动算子 1.reduce( f: (T, T) => T )：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。 val list1: RDD[Int] = sc.makeRDD(1 to 10) val

Spark性能调优之shuffle原理

李献计的博客

07-01

834

shuffle原理概述：哪些情况下，spark会发生shuffle？ spark中，以下几个算子会发生shuffle： groupByKey、reduceByKey、countByKey、join 等等什么是shuffle？ groupByKey 就是把分散在集群上各个节点上的同一个key的数据，对应的values，集中到集群中同一个节点上。更准确的说，是集中到一个节点的一个executor的...

spark 大型项目实战(三十五):--Shuffle调优之原理概述

u012957549的博客

06-23

2852

什么样的情况下，会发生shuffle？在spark中，主要是以下几个算子：groupByKey、reduceByKey、countByKey、join，等等。什么是shuffle？ groupByKey，要把分布在集群各个节点上的数据中的同一个key，对应的values，都给集中到一块儿，集中到集群中同一个节点上，更严密一点说，就是集中到一个节点的一个executor的一个task中。 ...

RDD中转换算子reduceByKey 和 groupByKey 的区别

weixin_44870066的博客

03-22

226

从 shuffle 的角度：reduceByKey 和 groupByKey 都存在 shuffle 的操作，但是 reduceByKey可以在 shuffle 前对分区内相同 key 的数据进行预聚合（combine）功能，这样会减少落盘的数据量，而 groupByKey 只是对数据进行分组，不存在数据量减少的问题，reduceByKey 性能比较高。从功能的角度：reduceByKey 其实包含分组和聚合的功能。GroupByKey 只能分组，不能聚合，所以在分组聚合的场合下，推荐使用 reduceB

RDD中groupByKey和reduceByKey区别

最新发布

卡卡的博客

12-16

672

Spark RDD中groupByKey和reduceByKey在功能和性能上的区别

Spark rdd之groupByKey & reduceByKey 区别

南风知我意

05-22

1112

groupByKey 和 reduceByKey 有什么区别？从这两个算子的字面意思来看，groupByKey 是先按照 key 进行分组，然后把相同的 key 收集到一起；reduceByKey( f )，把相同的 key 进行聚合，聚合的逻辑由传入 f 函数所指定。这两个算子，只针对 kv 格式的 RDD 才能使用。在前几篇文章中说了，每调一个算子，都是一次 RDD 的转换，也是一次数据形态的转换。既然有 RDD 的转换，那么就会有数据依赖形成。下面分别来看看它们所形成的数据依赖图。 1 redu

【Hive】数据倾斜优化 shuffle, join, group by

一往无前

09-24

3364

总结一下数据倾斜的优化。首先从导致数据倾斜的原因方面分析入手，主要是groupby和join的相关操作，这两个操作都会把相同的key拉到同一个reduce，如果其中某些key分布不均数量过大，这就会导致数据倾斜了。 groupby导致的数据倾斜优化： select --最后汇总 pkg ,sum(part_cnt) as installed_cnt from ( --先局部关联 select substr(pkg_new, 1, lengt..

（转载）Spark算子：RDD键值转换操作(3)–groupBy、keyBy、groupByKey、reduceByKey、reduceByKeyLocally

moose_killer的博客

03-17

1232

groupBy groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组 def main(args: Array[String]): Unit = { //默认分区12个 val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test").set("spark.default.parallelism", "12")) var rdd1 = sc.

Spark基本的RDD算子之groupBy，groupByKey，mapValues

weixin_34375054的博客

11-29

1319

1.groupby def groupBy[K: ClassTag](f: T => K): RDD[(K, Iterable[T])] def groupBy[K: ClassTag](f: T => K, numPartitions: Int): RDD[(K, Iterable[T])] def groupBy[K: ClassTa...

Spark RDD API详解与核心操作

"Spark RDD API 是Apache Spark的核心数据结构，它是Resilient Distributed Datasets的缩写，提供了并行计算的基础。本资源整理了`RDD[T]`的主要操作，包括转换（Transformations）和动作（Actions），并结合`spark ...