spark从入门到放弃二十六:Spark 性能优化(9)reduceByKey和groupByKey

最新推荐文章于 2022-07-20 15:01:59 发布
最新推荐文章于 2022-07-20 15:01:59 发布
阅读量3.9k 收藏
点赞数
分类专栏： 大数据 spark 文章标签： spark 性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012957549/article/details/79704831
版权
spark 同时被 2 个专栏收录
122 篇文章 15 订阅
订阅专栏
大数据
43 篇文章 1 订阅
订阅专栏

文章地址：http://www.haha174.top/article/details/259354
举个例子

val counts=pairs.reduceByKey(_+_)
val counts=pairs.groupByKey().map(wordcounts=>(wordcounts._1,wordcounts_2.sum))

如果能用reduceByKey那就用reduceByKey，因为它会在map端，先进行本地combine，可以大大的减少要传输到reduce端的数据量，减少网路传输的开销
只有在reduceByKey 处理不了的时候才会用groupbByKey.map()来替代

下面给出一个图解介绍一下val counts=pairs.groupByKey().map(wordcounts=>(wordcounts._1,wordcounts_2.sum))
这里写图片描述

下面给出一个图解介绍一下val counts=pairs.reduceByKey(_+_)
这里写图片描述

WQ同学
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于reducebykey在spark的使用
qq_44671288的博客
09-23 589
package njbdqn import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable.ListBuffer object demo { def main(args: Array[String]): Unit = { val conf=new SparkConf().setMaster("local[2]").setAppName("myjob") val sc=new Sp.
Spark之reduceByKey详解
Jamie's Blogs
09-26 2194
Spark算子reduceByKey详解reduceByKey与groupByKey不同之处相同之处 reduceByKey与groupByKey 不同之处 reduceByKey，多了一个rdd，MapPartitionsRDD，存在于stage0的，主要是代表了进行本地数据规约之后的rdd,网络传输的数据量，以及磁盘IO等，会减少，性能更高 相同之处 后面进行shuffle read和聚合的...
Spark rdd之groupByKey & reduceByKey 区别
南风知我意
05-22 1070
groupByKey 和 reduceByKey 有什么区别？ 从这两个算子的字面意思来看，groupByKey 是先按照 key 进行分组，然后把相同的 key 收集到一起；reduceByKey( f )，把相同的 key 进行聚合，聚合的逻辑由传入 f 函数所指定。 这两个算子，只针对 kv 格式的 RDD 才能使用。在前几篇文章中说了，每调一个算子，都是一次 RDD 的转换，也是一次数据形态的转换。 既然有 RDD 的转换，那么就会有数据依赖形成。下面分别来看看它们所形成的数据依赖图。 1 redu
Spark的算子的分类
mojolang
07-26 734
从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业。 　　 Action 算子会触发 Spark 提交作业（J...
Spark性能优化：开发调优篇
02-01
Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在...
Spark性能优化：数据倾斜调优
02-01
继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以...
Spark性能优化：资源调优篇
02-26
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱...
Hadoop和Spark多节点集群搭建：从入门到进阶0基础！！易懂！！
最新发布
07-15
详细介绍了如何从入门到进阶搭建和管理Hadoop和Spark的多节点集群。首先，文章解释了多节点集群的概念和优势，然后提供了硬件和软件环境的准备步骤，包括Java和SSH配置。接着，文章分步骤指导如何下载、安装和配置...
Spark中reduceByKey(_+_)的说明
Gloria的博客
07-27 2184
https://blog.csdn.net/CDW2328/article/details/90319420
reducebykey java_Spark入门（五）--Spark的reduce和reduceByKey
weixin_26704349的博客
02-12 928
reduce和reduceByKey的区别reduce和reduceByKey是spark中使用地非常频繁的，在字数统计中，可以看到reduceByKey的经典使用。那么reduce和reduceBykey的区别在哪呢？reduce处理数据时有着一对一的特性，而reduceByKey则有着多对一的特性。比如reduce中会把数据集合中每一个元素都处理一次，并且每一个元素都对应着一个输出。而redu...
spark的两种groupby，一种不易OOM
Talk Is Cheap
07-20 882
spark不易OOM的groupby
SPARK算子ReduceByKey和GroupByKey详解
汝知否
11-18 1075
Spark常用的键值对RDD转换操作 spark易混算子详解：reduceByKey和groupByKey reduceByKey： 方法原体：def reduceByKey(func: (V, V) ⇒ V): RDD[(K, V)] 功 能：使用func函数合并具有相同键的值 reduceByKey按照key相同的进行归类形如：<"spark",<1,1>> ； 归类后按照key对value-list进行求和 g...
Spark combineByKey 参数含义与性能测试
BITDDD小栈
04-17 439
一.引言： combineByKey 是一个泛型函数，使用一组自定义的聚合函数组合每个键的元素，常见的聚合函数groupByKey就是以combineByKey为原型扩展的，更多地细节可以参考combineByKeyWithClassTag。 二.源码与参数含义: /* Generic function to combine the elements for each key using a custom set of aggregation functions. This method i..
spark算子调优reduceByKey本地聚合
mn_kw的博客
07-19 829
reduceByKey，相较于普通的shuffle操作，它的一个特点就是说，会进行map端的本地聚合。 对map端给下个stage每个task创建输出文件中，写数据之前，就会进行本地的combiner操作，也就是说对每一个key对应的values都会执行你的算子函数   用reduceByKey对性能的提升： 1. 在本地进行聚合以后，在map端的数据量就变少了，减少磁盘io.而且可以减少...
troubleshooting shuffle reduce端缓冲大小以避免OOM
weixin_34124939的博客
10-30 107
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark常用算子reduceByKey与groupByKey的区别，哪一种更有优势？
星空下的那个人影
05-04 964
reduceByKey： 按照key进行聚合，在shuffle之前就有combine（预聚合）操作，返回结果是RDD[k,v]； groupByKey： 按照key进行分组，直接进行shuffle； 所以，在实际开发过程中，reduceByKey比groupByKey，更建议使用，但是需要注意是否会影响业务逻辑。 ...
巧用groupby解决Dataframe筛选分组效率慢问题
rabeen的专栏
03-06 5011
原代码：for name in list_valid_perfor_inventory: time_stamp = time.time() df_tmp1 = df_all_performance[df_all_performance['res_ins_id'] == name] ###170万行，该语句大约需要2S if df_tmp1.empty: co...
spark从入门到放弃三十二:spark sql(5)hive sql 简述
06-28
### 回答1： Spark SQL是Spark生态系统中的一个组件，它提供了一种基于结构化数据的编程接口。Spark SQL支持使用SQL语言进行数据查询和处理，同时还支持使用DataFrame和Dataset API进行编程。Spark SQL还提供了与Hive集成的功能，可以使用Hive SQL语言查询和处理数据。Hive SQL是Hadoop生态系统中的一个组件，它提供了一种基于SQL语言的数据仓库解决方案。通过Spark SQL与Hive集成，可以在Spark中使用Hive SQL语言进行数据查询和处理，同时还可以利用Spark的分布式计算能力加速数据处理。 ### 回答2： Spark SQL 是基于 Spark 构建的一个模块，它使得使用 SQL 访问结构化数据成为了可能。Spark SQL 结合了 Spark 强大的分布式计算能力和 SQL 的易用性，能够处理从结构化数据到半结构化数据和无结构化数据的查询。Spark SQL 提供了一个统一的数据访问接口，支持从多种数据库和文件格式读取数据，也支持在 Hadoop HDFS 上进行分布式计算。 Hive SQL 是一个 SQL 的扩展，可以让用户使用 SQL 查询 Hadoop HDFS 中的数据。Hive SQL 可以将 SQL 查询转化为 MapReduce 作业，以便在 Hadoop 上运行。类似于 Spark SQL，Hive SQL 也可以支持从多种文件格式和存储系统中读取数据，并可以使用 HiveQL 对数据进行查询。HiveQL 是 Hive SQL 的 SQL 方言，它包含了 SQL 非常基础的功能，而且还包含了一些扩展功能，例如用户自定义函数和 MapReduce 脚本。 Spark SQL 和 Hive SQL 之间还有一些其他的区别。其中，最明显的区别就在于 Spark SQL 是内存计算，而 Hive SQL 是基于磁盘计算。由于 Spark SQL 可以在内存中处理数据，因此具有更快的查询速度和更好的性能。此外，Spark SQL 还具有更好的支持复杂数据类型的能力。 总的来说，Spark SQL 和 Hive SQL 都是非常优秀的分布式计算平台和 SQL 扩展，它们带来了很多的便利性和高效性，使得大数据的处理和分析变得更加容易和高效。学习和掌握这两个技术，对于从事大数据开发和处理的人员来说是非常重要的。 ### 回答3： Spark是一个开源的分布式计算引擎，它的出现很大程度上改变了大数据处理的方式，同时它也为很多数据工程师提供了灵活、高效的数据处理解决方案。Spark SQL是Spark被广泛使用的一个组件，它提供了一种统一的数据处理接口，让用户可以在一个高度优化的引擎上进行SQL查询以及数据处理。 Spark SQL可以与Hive集成，因为Hive的底层也是使用了map-reduce模式。在使用Spark SQL的时候，用户可以根据需要在命令行模式或者使用脚本来进行数据处理。而且，Hive SQL 可以访问 Hadoop 组件的数据，包括HDFS，HBase，和S3等等，使得Spark SQL能够进行更多场景的数据处理。 在使用Spark SQL与Hive SQL，用户可以使用类似于SQL的语言进行数据处理。这些语言有很多的常见操作，例如join,groupBy,orderBy等。Spark SQL也支持一些比较高级的数据操作，例如窗口函数、自定义聚合函数等，这些操作可以让用户更加灵活的处理数据，并且降低了用户对于数据处理的技术门槛。 总之，Spark SQL与Hive SQL对于数据处理的灵活性和性能都具有非常高的优势。虽然它们之间有所不同，但是在很多场景下，Spark SQL和Hive SQL也可以结合使用来提高数据处理效率和完成更加复杂的任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值