Spark2.3.1 Shuffle Operations

最新推荐文章于 2019-07-17 16:38:04 发布
VIP文章 最新推荐文章于 2019-07-17 16:38:04 发布
阅读量438 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42129080/article/details/80959295
版权

Shuffle是Spark重新分布数据的机制，跨分区进行数据分组，跨执行器和机器进行数据拷贝，复杂且代价高

背景

1) 以reduceByKey操作为例，把单个key的所有值reduce并生成一个新的RDD，reduce函数应用到和这个key相关的所有value上，使得完成这个操作要使用到所有分区的所有键值对

2) Spark的分区不是按照特定的操作来划分的，一个单独的reduceByKey任务在一个单独的partition执行，然后读取所有分区的所有keys和对应的values跨分区进行合并得到最终结果，这就是Shuffle


性能影响

1) Shuffle代价很大，因为涉及磁盘IO，数据序列化和网络IO，为了组织好Shuffle的数据，Spark使用tasks集合

最低0.47元/天 解锁文章
ThisIsNobody
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-2.3.1源码解读
10-20
Spark-2.3.1源码解读。 Spark Core源码阅读 Spark Context 阅读要点 Spark的缓存，变量，shuffle数据等清理及机制 Spark-submit关于参数及部署模式的部分解析 GroupByKey VS ReduceByKey OrderedRDDFunctions那些事 高效使用mappartitions standalone模式下executor调度策略 Spark Sql源码阅读 Spark Sql源码阅读 hive on spark调优 Spark SQL 多维聚合分析应用案例 Spark Streaming源码阅读 动态发现新增分区 Dstream join 操作和 RDD join 操作的区别 PIDController源码赏析及 back pressure 实现思路 Streaming Context重点摘要 checkpoint 必知必会
SparkCore：RDD Shuffle operations、coalesce和repartition算子、reduceByKey和groupByKey对比
11号车厢
08-03 383
文章目录1、Shuffle operations2、Performance Impact3、coalesce和repartition算子4、reduceByKey、groupByKey对比 官网：Shuffle operations http://spark.apache.org/docs/2.4.2/rdd-programming-guide.html#shuffle-operations 1、...
Spark-Core_Shuffle详解
思亘七险，点落九宫，神游八极，纵横十方。
05-15 282
Spark-Core_Shuffle详解 1.Shuffle operations Certain operations within Spark trigger an event known as the shuffle. The shuffle is Spark’s mechanism for re-distributing data so that it’s grouped differe...
通道随机混合操作（Channel Shuffle Operation）
鹊踏枝-码农的专栏
07-17 9143
通道随机混合操作（Channel Shuffle Operation）可以看成“重塑-转置-重塑”（“reshapetranspose- reshape”）操作。这里假设把4个Feature Maps级联后，共1024个Channels。现在我们想把这个1024个Channels随机打乱混合。首先把Channels重塑为（g, c），其中 g 表示分组数目，c=1024/g。然后把它转置一下为（...
POJ 3087 Shuffle'm Up
ACM2272902662的专栏
01-22 755
Shuffle'm Up Time Limit: 1000MS   Memory Limit: 65536K Total Submissions: 4118   Accepted: 1929 Description A common pastime for poker players at a poker table is to shuf
spark2原理分析—shuffle框架的实现概要分析
zg_hover的专栏
05-19 1745
概述 本文分析spark2的shuffle过程的实现。 shuffle过程介绍 shuffle总体流程 spark2的shuffle过程可以分为shuffle write和shuffle read。shuffle write把map阶段计算完成的数据写入到本地。而shuffle read是从不同的计算节点获取shuffle write的就按出来的数据，这样就会发生网络的数据传输和磁盘的i/o。 为...
Spark Programming Guide(四)
源码有毒的专栏
09-23 520
Shuffle operationsCertain operations within Spark trigger an event known as the shuffle. The shuffle is Spark’s mechanism for re-distributing data so that it’s grouped differently across partitions. Th
spark2.3.1-with-hive
09-07
spark2.3.1-with-hive编译版本，
spark-2.3.1-bin-hadoop2.7.zip
10-12
spark-2.3.1-bin-hadoop2.7.zip
spark-2.3.1源码包
07-05
spark2.3.1源码包官网给了两种编译方式，个人喜欢打包的方式，因为打包完成后可以根据自己的需要去部署spark环境，所以也推荐打包编译方式
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本
07-27
spark 2.3.1 支持Hive Yarn Hadoop 2.7 已编译版本 可以直接使用
spark-2.3.1-bin-hadoop2.9-without-hive.tgz
02-22
使用maven重新编译spark2.3.1源码，用以实现hive on spark
spark-2.3.1-bin-hadoop2.7.rar
05-06
免费提供spark-2.3.1版本安装文件，免安装，解压后放到想要安装的目录下，配置下环境变量即可。
Spark-2.3.1:Spark-2.3.1源码解读
03-23
浪尖带着你阅读spark原始码 Spark Core源码阅读 Spark Sql源码阅读 Spark Streaming源码阅读 更多大数据文章请关注浪尖微信公众号：Spark学习技巧 浪尖和阿里大神一起创造了知识星球-spark技术学院，欢迎大家扫码...
spark-docs-api_2.3.1.zip
07-30
spark2.3.1官方文档离线版 包含http://spark.apache.org/docs/2.3.1/ 下面的所有页面和所有api文档 并附有下载方法，可适用与其他版本文档下载
Spark编程指引(三)-----------------RDD操作，shuffle和持久化
热门推荐
happyAnger6的专栏
06-20 1万+
处理键－值对 尽管Spark的大部操作支持包含所有对象类型的RDDs,但是还有一些操作只支持键－值对的的RDDs.最常见的是类似"洗牌"的操作，比如以键值来分组或聚合所有的元素。 在Scala里，这些操作对包含2元组的RDD是自动可用的。（Scala语言内置的元组，通过(a,b)这样的形式创建）。对键－值对可用的操作在PairRDDFunctions类里，将自动包含在含有2元组的RDD里。
第37课：Spark中Shuffle详解及作业
zhumr的专栏
09-14 1万+
第37课：Spark中Shuffle详解及作业
Java中 shuffle 算法的使用_java
北京刘馨文SEO博客
12-27 6856
Fisher–Yates shuffle 基本思想（Knuth shuffle ）： To shuffle an array a of n elements (indices 0..n-1):   for i from n − 1 downto 1 do        j ← random integer with 0 ≤ j ≤ i        exchange a[j] and a[
Spark（2.3.1）集群安装【一篇就够】
sjmz30071360的专栏
09-09 3558
操作系统：Linux（CenOS7） Spark集群至少需要有JDK、Hadoop、Scala、Spark 一、安装Spark依赖的Scala（每个节点都安装） 1.1 下载Scala（2.11.12） wget "https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz" 1.2 解压、配置环境变量 vi /etc...
spark2.3.1 on hive2.2.1集成
最新发布
03-16
spark2.3.1 on hive2.2.1集成是指将Apache Spark 2.3.1与Apache Hive 2.2.1集成在一起，以便在Spark中使用Hive的元数据和查询功能。这种集成可以提高数据处理的效率和灵活性，同时也可以减少数据移动和转换的成本。在集成过程中，需要配置Spark和Hive的环境变量和参数，并确保它们之间的版本兼容性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值