【Spark】Spark RDD Shuffle 讲解

最新推荐文章于 2023-06-18 13:40:36 发布
最新推荐文章于 2023-06-18 13:40:36 发布
阅读量522 收藏
点赞数
分类专栏： Spark 大数据 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014028317/article/details/102997522
版权
本文介绍了Spark中的Shuffle机制，它用于数据的重分区。Shuffle在groupByKey、reduceByKey等操作中触发，案例中展示了从3个分区重分区为2个过程中发生的数据shuffle。
摘要由CSDN通过智能技术生成

一、概述

Spark RDD Shuffle类似mapreduce中的shuffle。bucket相当于分区。

什么是spark shuffle？

shfulle是spark对数据进行重分区的机制。

哪些操作会引起shuffle？

具有重新调整分区的操作，eg：repartition，coalesce

*ByKey，eg：groupByKey，reduceByKey

关联操作：eg：join，cogroup

二、案例讲解

1、读取hdfs文件，设置分区

在hdfs上有文件 /user/root/mapreduce/wordcount/input/wc.input，内容如下：

hadoop hive
hive hadoop
hbase sqoop
hbase sqoop
hadoop hive

用spark读取文件 wc.input ，创建rdd，设置分区为3

val rdd = sc.textFile("hdfs://hadoop-senior.ibeifeng.com:8020/user/root/mapreduce/wordcount/input/wc.input", 3)

2、保存分区到hdfs

把rdd保存到hdfs的以

最低0.47元/天 解锁文章
晚风中的自由
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
理解Spark-RDD的Shuffle操作
杨鑫newlife的专栏
04-24 1757
1.Spark中的某些操作会触发称为shuffle的事件。 随机广播是Spark的重新分发数据的机制，因此它可以跨分区进行不同的分组。 这通常涉及跨执行程序和机器复制数据，使得Shuffle成为复杂且昂贵的操作。 2.为了理解在shuffle期间发生的事情，我们可以考虑reduceByKey操作的示例。 reduceByKey操作生成一个新的RDD， 其中单个键的所有值都组合成一个元组 -...
---Spark学习-shuffle和RDD
李玉坤的博客
03-05 1487
Spark Shuffle HashShuffleManager： shuffle write阶段，默认Mapper阶段会为Reducer阶段的每一个Task单独创建一个文件来保存该Task中要使用的数据。 （1）map task的计算结果，会根据分区器（default：HashPartitioner）来决定写入到哪一个磁盘小文件中 （2）reduce task 会去map端拉取相应的小文件 产...
Spark Core快速入门系列 （四）RDD的分区与Shuffle
weixin_45417821的博客
08-27 334
文章目录RDD 的 Shuffle 和分区RDD 的分区操作RDD 的 Shuffle 是什么RDD 的 Shuffle 原理Hash base shuffleSort base shuffle RDD 的 Shuffle 和分区 目标 RDD 的分区操作 Shuffle 的原理 分区的作用 RDD 使用分区来分布式并行处理数据, 并且要做到尽量少的在不同的 Executor 之间使用网络交换数据, 所以当使用 RDD 读取数据的时候, 会尽量的在物理上靠近数据源, 比如说在读取 Cassandra 或者
spark2原理分析-RDD的shuffle简介
zg_hover的专栏
10-28 899
概述 本文介绍RDD的Shuffle原理，并分析shuffle过程的实现。 RDD Shuffle简介 spark的某些操作会触发被称为shuffle的事件。shuffle是Spark重新分配数据的机制，它可以对数据进行分组，该操作可以跨不同分区。该操作通常会在不同的执行器(executor)和主机之间复制数据，这使shuffle成为复杂且非常消耗资源的操作。 Shuffle背景 为了理解shuf...
Spark Shuffle初探
心中永远的正能量
05-12 4354
之前一直疑惑Shuffle过程中的读和写究竟是在哪里实现的，一直误解读和写都是在RDD的转换过程中实现的，但是追踪代码reduceByKey，却只找到了生成ShuffledRDD的过程，然后在ShuffledRDD中的compute函数中有读取过程，那么写入过程究竟在哪里呢？？ PairRDDFunctions def combineByKey[C](createCombiner: V
【Spark源码】RDD shuffle溢写&归并排序
九筒的博客
05-15 472
RDD shuffle溢写 核心代码 if (shouldSpill) { _spillCount += 1 logSpillage(currentMemory) //溢写，查看ExternalSorter.scala文件第239行 spill(collection) _elementsRead = 0 _memoryBytesSpilled += currentMemory releaseMemory() //溢写之后释放内存 } 分析代码步骤 在sortshuffle
【Spark源码】RDD shuffle 读磁盘与写磁盘
九筒的博客
05-15 510
RDD shuffle shuffle阶段涉及磁盘读写，以图示为例，紫色RDD与ShuffleRDD之间会进行磁盘读写操作，紫色RDD进行磁盘写操作，ShuffleRDD进行磁盘读操作 写磁盘 读磁盘 核心代码 //读磁盘 override def compute(split: Partition, context: TaskContext): Iterator[(K, C)] = { val dep = dependencies.head.asInstanceOf[ShuffleDepe
spark rdd转dataframe 写入mysql的实例讲解
09-09
这里需要注意，`Spark.sql.*`系列的配置参数可以在创建`SparkConf`时设置，例如`spark.sql.shuffle.partitions`用于设置默认的分区数，`spark.sql.inMemoryColumnarStorage.compressed`用来决定DataFrame在内存中...
Spark---RDD的分区和shuffle
HR的博客
12-30 915
Spark---RDD的分区和shuffle简单简绍分区的作用分区和Shuffle的关系Spark中的Shuufle操作的特点RDD的分区操作Shuffle的原理Hash base shuffleSort base shuffleRDD的缓存RDD缓存的意义RDD缓存的APIRDD缓存的级别存储级别如何选择存储级别Checkpoint特点和Cache的区别Checkpoint的使用 简单简绍 分区的作用 RDD使用分区来分布式并行处理数据,并且要做到尽量少的在不同的Executor之间使用网络交换数据,所以
【Spark】RDD的Shuffle和分区
懂得一千零一种,赋予你失败的方法！
11-18 1957
RDD的Shuffle和分区 分区的作用： 1. RDD 经常需要通过读取外部数据来创建，外部数据存储系统往往是支持分片的，分区后能够使得与外部系统的分片一一对应 2. RDD 分区后支持了并行运算，也就是说分区是实现RDD并行运算的一个手段 分区和shuffle的关系： RDD分区的主要作用是支持并行运算，本质上与shuffle没什么关系。但是往往在进行数据处理的时候，例如 reduceByKey、groupByKey等聚合操作， 要把Key相同的value值聚合到一起，有可能相同的key的value
Spark架构、调度模块、Shuffle详解、RDD容错机制、RDD缓存
Winyar的博客
07-21 287
概述 为了更好地理解调度，我们先来鸟瞰一下集群模式下的Spark程序运行架构图。 1.Driver Program 用户编写的Spark程序称为Driver Program。每个Driver程序包含一个代表集群环境的SparkContext对象，程序的执行从Driver程序开始，所有操作执行结束后回到Driver程序 中，在Driver程序中结束。如果你是用spark shell，那么当你启...
Spark-核心常见面试题集锦(RDD、shuffle类型、数据倾斜优化、小文件问题、性能调优、streaming流程、checkpoint机制)
最新发布
m0_46507516的博客
06-18 1402
RDD、shuffle类型、数据倾斜优化、小文件问题、性能调优、streaming流程、checkpoint机制
从Spark Shuffle RDD到Shuffle Service on Yarn 源码阅读 一
心中永远的正能量
11-10 784
@TOC从Spark Shuffle RDD到Shuffle Service on Yarn 源码阅读 从Spark Shuffle RDD到Shuffle Service on Yarn 源码阅读 涉及内容从Task执行，到RDD的读取，以及Shuffle数据的获取。 Task体系 ShuffleMapTask的读和写 Shuffle Block的读和写 External Shuffle Ser...
Spark（二）-- Spark 底层逻辑 (六) -- 物理执行图生成（二）
happy-vicky的博客
09-18 488
目录 6.2 物理执行图生成 6.2.1 物理图的作用是什么? 问题一: 物理图的意义是什么? 问题二: 如果要确定如何运行的问题, 则需要先确定集群中有什么组件? 问题三: 物理图的生成需要考虑什么问题? 6.2.2 谁来计算 RDD ? 问题一: RDD 是什么, 用来做什么 ? 问题二: 谁来计算 ? 问题三: Task 该如何设计 ? 6.2.3 如何划分阶段 ? 6...
spark性能优化（一）常规性能优化、RDD算子、Shuffle的调优、JVM调优
qq_44665283的博客
06-13 586
spark性能调优
Spark ShuffleRDD生成的两种Task
yians的专栏
02-28 1019
Spark Core里的ShuffleRDD是对上游RDD的宽依赖，在阶段划分时会生成两个Stage，以下面的WordCount为例，这两个Stage的任务类型分别为ShuffleMapTask和ResultTask： // 创建 Spark 运行配置对象 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount") // 创建 Spark 上下文环境对象（连接对象） val sc = new SparkCon
Spark学习之路——4.Spark RDD详解
Nelson_hehe的博客
12-11 698
Spark RDD详解 在Spark学习之路——2.核心组件、概念中我们已经对RDD进行了比较细致的介绍，但是对RDD在Saprk内部起到的作用、还有RDD和其他组件之间的关系没有明确描述，下面我们就以编程的视角，详细地了解一下RDD的设计和运行原理。 一、总述 RDD是Spark的数据抽象，一个RDD是一个只读的分布式数据集，可以通过转换操作在转换过程中对RDD进行各种变换。 一个复杂的...
Spark SQL系列------1. Spark SQL 物理计划的Shuffle实现
u012684933的专栏
02-25 7541
Spark SQL物理计划要到Spark-core执行，需要将Spark SQL物理计划转化成RDD，并且建立RDD之间的依赖关系。这个过程可以通过如下图大概表示： 上图中绿色部分指Spark物理计划到RDD过程中数据结构的变迁过程。黄色部分表示变迁过程中，实现加工作用的数据结构。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值