Spark部分：调优【reduceByKey/aggregateByKey替代groupByKey，mapPartitions替代普通map，foreachPartitions替代foreach】

最新推荐文章于 2024-05-25 10:59:32 发布
最新推荐文章于 2024-05-25 10:59:32 发布
阅读量3.2k 收藏 7
点赞数 2
分类专栏： Spark学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyqwilliam/article/details/81626447
版权
本文介绍了Spark性能优化的多个策略，包括使用reduceByKey/aggregateByKey替代groupByKey以利用局部聚合，使用mapPartitions代替普通map提高效率，使用foreachPartitions减少数据库连接创建，使用filter后coalesce减小partition，以及使用repartitionAndSortWithinPartitions合并shuffle与排序等。这些技巧有助于减少数据传输、提高并行性和内存利用率。
摘要由CSDN通过智能技术生成

1.使用reduceByKey/aggregateByKey替代groupByKey

2.使用mapPartitions替代普通map

3.使用foreachPartitions替代foreach

4.使用filter之后进行coalesce操作

5.使用repartitionAndSortWithinPartitions替代repartition与sort类操作

6.使用broadcast使各task共享同一Executor的集合替代算子函数中各task传送一份集合

7.使用相同分区方式的join可以避免Shuffle

8.map和flatMap选择

9.cache和persist选择

10.zipWithIndex和zipWithUniqueId选择

　

1.使用reduceByKey/aggregateByKey替代groupByKey

 reduceByKey/aggregateByKey底层使用combinerByKey实现，会在map端进行局部聚合；groupByKey不会。

map端预聚合的算子： reduceByKey/aggregateByKey/combinerByKey

使用map-side预聚合的shuffle操作,尽量使用有combiner的shuffle类算子。
            combiner概念：
                在map端，每一个map task计算完毕后进行的局部聚合
            combiner好处：
          

最低0.47元/天 解锁文章
道法—自然
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark算子选择策略
chenjieit619的博客
12-01 630
摘要 　  1.使用reduceByKey/aggregateByKey替代groupByKey 　　2.使用mapPartitions替代普通map 　　3.使用foreachPartitions替代foreach 　　4.使用filter之后进行coalesce操作 　　5.使用repartitionAndSortWithinPartitions替代repartiti
Spark 算子调优：MapPartitions+coalesce+foreachPartition+repartition+reduceByKey详解
Transkai
09-03 340
一.算子调优之MapPartitions提升Map类操作性能 1.MapPartitions操作的优点： 如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。 但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有的partition数据。只要执行一次就可以了，性能比较高...
【pyspark速成专家】5_Spark之RDD编程3
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-25 969
当spark集群在许多节点上运行一个函数时，默认情况下会把这个函数涉及到的对象在每个节点生成一个副本。但是，有时候需要在不同节点或者节点和Driver之间共享变量。Spark提供两种类型的共享变量，广播变量和累加器。广播变量是不可变变量，实现在不同节点不同任务之间共享数据。广播变量在每个机器上缓存一个只读的变量，而不是为每个task生成一个副本，可以减少数据的传输。累加器主要是不同节点和Driver之间共享变量，只能实现计数或者累加功能。累加器的值只有在Driver上是可读的，在节点上不可见。
尽量使用reduceByKey代替groupByKey
小白成小黑
05-18 3269
val words = Array("one", "two", "two", "three", "three", "three")val wordPairsRDD = sc.parallelize(words).map(word => (word, 1)) val wordCountsWithReduce = wordPairsRDD  .reduceByKey(_ + _)
Spark调优
少年时。
06-08 204
Spark调优1.分配更多资源2.提高并行度3. RDD的重用和持久化4. 广播变量的使用5. 尽量避免使用shuffle类算子6. 使用高性能的算子7. 使用Kryo优化序列化性能8. 使用fastutil优化数据格式9. 调节数据本地化等待时长10. 基于Spark内存模型调优 1.分配更多资源 1、增加–num-executors、增加–executor-cores，这两个参数增加后能够提升task的并行度 2、增加–driver-memory，在shuffle时reduce操作会先将map端来的数
reduceByKey和groupByKey的区别
chbxw
08-04 1742
reduceByKey reduceByKey，相较于普通的shuffle操作(比如groupByKey)，它的一个特点，就是说，会进行map端的本地聚合。 对map端给下个stage每个task创建的输出文件中，写数据之前，就会进行本地的combiner操作，也就是说对每一个key，对应的values，都会执行你的算子函数(_+_) 1.1、用reduceByKey对性能的提升： 1...
5个数组Array方法: indexOf、filter、forEach、map、reduce使用实例
09-03
这里我们将详细探讨其中五个常用且实用的方法：`indexOf`、`filter`、`forEach`、`map` 和 `reduce`。 1) `indexOf` `indexOf()` 方法用于查找指定元素在数组中的索引，如果找到则返回该元素的第一个出现位置，否则...
Spark-Spark的开发调优.pdf
最新发布
07-12
- **3.6.1 使用reduceByKey/aggregateByKey替代groupByKey** - **场景说明**：`reduceByKey`和`aggregateByKey`提供了更高效的键值对聚合方式，相比于`groupByKey`可以减少网络传输的数据量。 - **代码示例**： `...
PHP中的替代语法简介
10-25
3. foreach循环的替代语法： ```php <?php foreach($array as $value): ?> print_r($value); ; ?> ``` 这与以下标准语法等效： ```php <?php foreach($array as $value) { ?> print_r($value); ``` 4. switch...
PHP中的替代语法介绍
10-24
- **foreach** 循环：同样适用于替代语法，例如： ```php <?php foreach ($array as $value): ?> <li><?php echo $value; ?></li> ; ?> ``` - **switch** 语句：替代语法为： ```php ($var): case 'value...
Array数组对象中的forEach、map、filter及reduce详析
10-18
在JavaScript的Array数组对象中，有四个非常重要的方法：`forEach`、`map`、`filter`和`reduce`。这些方法提供了强大的功能，能够帮助我们处理数组中的数据，进行迭代、转换、筛选和累加操作。下面我们将逐一详细...
浅谈Spark groupBy、reduceByKey与aggregateByKey,解决频繁Full GC问题
qq_39285950的博客
12-20 1129
groupBy效率较慢,可以使用reduceByKey / aggregateByKey替代groupBy, 因为这两个算子可以进行预聚合. 但是需要先将DataFrame转为RDD.Spark中建议不要使用过于复杂的数据结构,如: HashMap[String, String], ArrayList等,建议使用最简单的数据结构.预聚合部分是将多个String转为Array[String],减少了数据结构中Array的使用.后面再聚合部分是将预聚合中的Array[String]进行再聚合.
Spark之Row
热门推荐
SunnyRivers
10-30 1万+
前言 一直在说Dataframe是Dataset的特列，DataFrame=Dataset[Row]，可Row是什么东西呢？ 什么是Row 顾名思义：就是一行数据 Row是org.apache.spark.sql包下的一个特质 简单的理解： Row是一个类型，跟Car、Person这些的类型一样，所有的表结构信息都用Row来表示。 什么时候会用到这个Row呢？ 煮个例子 通过读取文件创建一个Dat...
spark 使用aggregateByKey 代替groupbyKey
yumingzhu1的博客
12-29 1878
性能调优中有个方案， 叫使用 aggregateBykey 代替 groupbykey， 为啥呢？ 应为aggregateByKe，使用map-side预聚合的shuffle操作， 相当于再map端进行了聚合的操作，相当于mapreduce 中进行combiner 介绍一下aggregateBykey这个方法 这里面一共传了三个 参数，这里用到了柯里化 ，我分别做一下...
Spark编程技巧
劫无忧
09-20 1225
Spark是一种强烈依赖内存的计算框架，结合其运行流程，可以有很多可以调优的地方用reduceByKey 替代groupByKey这两个转换都有shuffle过程发生，且都类似map reduce，但是reduceByKey会在map阶段会对相同的key进行聚合，极大的减少了map产生的数据量，进而减少了shuffle的数据量，提高了程序的执行效率 避免shuffleshuffle类算子会将多
Spark性能调优
aikeaidecxy的博客
08-24 2182
嗨，各位小伙伴大家好，我是爱小可爱的IT白，最近应朋友所邀，一直让写一篇关于Spark调优方面的文章，这两天工作之余，忙里偷闲，写了这篇调优文章，跟大家一起共享；在大数据领域，肯定有很多小伙伴跟笔者一样为了让生产中数据执行速度更快、性能更高而去使用Spark，当我们用Spark程序实现功能开发并使程序正常稳定运行起来的时候，一定是非常有成就感的；但是随着数据量的增加以及需求的完善，我们就开始关注我们这个程序能否做到在运行起来的时候让数据查询更快、让页面响应更快、尽可能的节省空间占用率；
Spark-Row实战&源码分析
进击的数据小白
11-06 1498
前言 spark在操作dataset/dataframe时候，经常需要对每一行数据进行处理，像map/mapPartition/foreach/ foreachParition等，那么我们在拿到一行数据时候，如何从中拿取出我们想要的列，然后进行相关业务操作，经常摸不着头脑，本文基于spark 2.1.1分析了一行数据的表达，以及详细的讲解了各种操作拿取行中相应列数据的方法。 Row实战操作 根据a...
Spark中aggregateByKey实现reduceByKey与groupByKey
01-01的博客
11-09 1841
Spark中aggregateByKey实现reduceByKey与groupByKey，下面为具体函数 /** * aggregateByKey算子来自定义reduceByKey算子 */ def aggregateByKeyToReduceBy(sc:SparkContext): Unit ={ val rdd = sc.parallelize(List(("a",1),("b",2),("c",3),("a",2),("a",3),("b",3),("c",2)))
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值