spark算子reducebykey和groupbykey的对比

最新推荐文章于 2022-07-03 18:16:57 发布
最新推荐文章于 2022-07-03 18:16:57 发布
阅读量328 收藏
点赞数
分类专栏： spark实战系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34936033/article/details/104265358
版权

一、场景

reducebykey和groupbykey作为经常使用的算子，都会触发shuffle操作

1.reducebykey返回的k-v的tuple的rdd

2.groupbykey返回的k-iterable的tuple的rdd

二、源码解读

这两个方法的底层都调用了combineByKeyWithClassTag这个方法

groupbykey 调用

 

reducebykey调用

 

第五个参数 mapSideCombine  默认是true，

reduceByKey没有对这个参数赋值所以是true，

 groupbyKey对这个参数赋值了是false

mapSideCombine这个参数意思：是否进行map端的本地聚合

 

结论

reducebykey在map端做了本地聚合，发生shuffle的数据小一些，减少了reduce端拉取的次数和网络IO，磁盘IO,所以map阶段的聚合可以优化shuffle

忆山
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 算子之reduceByKey与groupByKey
congge_study的博客
04-23 1000
Spark 算子之reduceByKey
Java Spark算子：sample
01-07
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import java.util.Arrays; import java.util.List; /** * sample(withReplacement,fraction,seed) 算子 * 对RDD中的数据进行随机采样，会有误差。 * 第一个参数：boolean类型，表示产生的样本是否可以重复：false不重复，也就是不放回的取；t
groupByKey&reduceByKey
weixin_58132358的博客
11-03 266
1. groupByKey rdd.groupByKey().map(x=>(x._1,x._2.sum)).foreach(println) 2.reduceByKey rdd.reduceByKey(_ + _).foreach(println) 总结： ① 从shuffle的角度：reduceByKey和groupByKey都存在shuffle的操作，但是reduceByKey可以在shuffle前对分区内相同key的数据进行预聚合功能，这样会减少落盘的数据量，而gr..
【菜鸟系列】spark常用算子总结（java）--groupByKey，reduceByKey
杜海的博客
06-25 1023
https://blog.csdn.net/Java_Soldier/article/details/80582336reduceByKey样例 SparkConf conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local"); JavaSparkContext jsc = new JavaSpark...
spark RDD，reduceByKey vs groupByKey
zzzzMing -大数据/数据分析/数据挖掘
10-28 158
Spark 中有两个类似的api，分别是 reduceByKey 和 groupByKey 。这两个的功能类似，但底层实现却有些不同，那么为什么要这样设计呢？我们来从源码的角度分析一下。 先看两者的调用顺序（都是使用默认的Partitioner，即defaultPartitioner） 所用 spark 版本：spark 2.1.0 先看reduceByKey Step1 def redu...
Spark中groupByKey() 和 reduceByKey() 和combineByKey()
大数据
07-03 2503
在一个(K,V)的RDD上调用，返回一个(K, Iterator[V])的RDD,也是对每个key进行操作，但只生成一个sequence，groupByKey本身不能自定义函数，需要先用groupByKey生成RDD，然后才能对此RDD通过map进行自定义函数操作。 是对key的value进行merge操作，在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，与groupByKey类似，reduce任务的个数可以通过第二个可选的
reduceByKey和groupByKey的区别
weixin_45264992的博客
10-18 3312
reduceByKey和groupByKey的区别 两者都是先根据关键字分组，然后再聚合。 不同点在于： reduceByKey在分区内会进行预聚合，而后再将所有分区的数据按照关键字来分组聚合。 而groupByKey则不会先进行预聚合，它直接将所有分区的数据一起分组再聚合。大多数情况下，reduceByKey会比groupByKey性能更好。 groupByKey：直接分组聚合 reduceByKey：先在各个分区预聚合，再分组聚合 ...
一文看懂Spark中reduceByKey 和 groupByKey 的区别
热门推荐
TRX的博客
09-04 1万+
目录 一、先看结论 二、举例、画图说明 1.实现的功能分别是什么？ 1).groupByKey 实现 WordCount 2).reduceByKey 实现 WordCount 2.画图解析两种实现方式的区别 1) groupByKey 实现 WordCount 2).reduceByKey 实现 WordCount（简单流程） 3).reduceByKey 实现 WordCount（终极流程） 一、先看结论 1.从Shuffle的角度 reduceByKey 和 g...
Spark常用算子reduceByKey与groupByKey的区别，哪一种更有优势？
星空下的那个人影
05-04 958
reduceByKey： 按照key进行聚合，在shuffle之前就有combine（预聚合）操作，返回结果是RDD[k,v]； groupByKey： 按照key进行分组，直接进行shuffle； 所以，在实际开发过程中，reduceByKey比groupByKey，更建议使用，但是需要注意是否会影响业务逻辑。 ...
Spark rdd之groupByKey & reduceByKey 区别
南风知我意
05-22 1061
groupByKey 和 reduceByKey 有什么区别？ 从这两个算子的字面意思来看，groupByKey 是先按照 key 进行分组，然后把相同的 key 收集到一起；reduceByKey( f )，把相同的 key 进行聚合，聚合的逻辑由传入 f 函数所指定。 这两个算子，只针对 kv 格式的 RDD 才能使用。在前几篇文章中说了，每调一个算子，都是一次 RDD 的转换，也是一次数据形态的转换。 既然有 RDD 的转换，那么就会有数据依赖形成。下面分别来看看它们所形成的数据依赖图。 1 redu
spark算子基础讲义1
03-13
val rdd1 = rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).sortBy(_._2, false) rdd1.collect rdd1.saveAsTextFile("hdfs://bigdata01:9000/spark01") ``` 4. 查看 spark01 目录的文件。 ``` hdfs dfs ...
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
* 使用 reduceByKey 方法对每个单词的出现次数进行统计，然后使用 foreach 方法输出结果。 知识点四：实验结果分析 * 实验结果与预期结果一致，证明了实验的成功。 * 通过实验，学习了 Spark 的安装、RDD 编程和 ...
Spark调优1
08-08
可以利用map-side预聚合，如reduceByKey、aggregateByKey和combineByKey等算子，它们在map阶段进行局部聚合，减少shuffle阶段的数据量。对于groupByKey，它的性能通常不如reduceByKey，因为后者在map端使用了...
Spark学习笔记 Spark学习笔记 Spark学习笔记
08-07
4. Reducebykey：与 Groupbykey 相似，只是多了一步聚合操作。 5. Aggregatebykey：用于分区内和分区间的聚合方法不一致的情况。 RDD 之间的依赖关系 RDD 之间的依赖关系可以分为两类：窄依赖和宽依赖。窄依赖是...
spark考试（练习题）编程题笔记！
06-13
Spark考试（练习题）编程题笔记！ 一、RDD简介 RDD（Resilient Distributed ...5. reduceByKey：根据key进行分组并聚合。 6. sortBy：根据指定依据对元素排序。 这些算子可以组合使用，以实现复杂的数据处理任务。
groupbykey的用法
m0_53291740的博客
11-15 1243
问题描述，求jack和rose各自的成绩总和（迭代器的使用） import java.util.Arrays; import java.util.Collections; import java.util.Iterator; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.Java
（九）groupByKey,reduceByKey,sortByKey算子-Java&Python版Spark
01-08 170
groupByKey,reduceByKey,sortByKey算子 视频教程： 1、优酷 2、 YouTube 1、groupByKey groupByKey是对每个key进行合并操作，但只生成一个sequence，groupByKey本身不能自定义操作函数。 java： 1 package com.bean.spark.trans; 2 3...
Spark源码之reduceByKey与GroupByKey
学习，我们是认真的
07-26 1万+
Spark中针对键值对类型的RDD做各种操作比较常用的两个方法就是ReduceByKey与GroupByKey方法，下面从源码里面看看ReduceByKey与GroupByKey方法的使用以及内部逻辑。官方源码解释：三种形式的reduceByKey总体来说下面三种形式的方法备注大意为： 根据用户传入的函数来对（K,V）中每个K对应的所有values做merge操作(具体的操作类型根据用户定义的函数
SPARK算子ReduceByKey和GroupByKey详解
汝知否
11-18 1054
Spark常用的键值对RDD转换操作 spark易混算子详解：reduceByKey和groupByKey reduceByKey： 方法原体：def reduceByKey(func: (V, V) ⇒ V): RDD[(K, V)] 功 能：使用func函数合并具有相同键的值 reduceByKey按照key相同的进行归类形如：<"spark",<1,1>> ； 归类后按照key对value-list进行求和 g...
Reducebykey和groupbykey区别
最新发布
04-11
ReduceByKey 和 GroupByKey 都是 Spark 中非常常用的算子，它们都是用于在 RDD 上进行聚合操作的。区别在于，ReduceByKey 在进行数据聚合之前会对数据进行本地聚合，即在每个分区（Partition）内部对数据进行聚合，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值