Spark中reduceByKey(_+_)的说明

最新推荐文章于 2024-07-17 14:35:09 发布

qq_34872215

最新推荐文章于 2024-07-17 14:35:09 发布

阅读量2.1k

点赞数 1

分类专栏：大数据文章标签：大数据

原文链接：https://blog.csdn.net/CDW2328/article/details/90319420

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

https://blog.csdn.net/CDW2328/article/details/90319420

补充说明：

1、Scala函数字面量简化写法：https://www.cnblogs.com/moonandstar08/p/5240302.html

Scala允许使用”占位符”下划线”_”来替代一个或多个参数，只要这个参数值函数定义中只出现一次，Scala编译器可以推断出参数。

因为_替代的参数在函数体中只能出现一次，因此多个“_”代表多个参数。第一个“_”代表第一个参数，第二个“_”代表第二个参数，以此类推。

2、 reduceByKey()

根据key值进行划分. reduceByKey是RDD独有的算子, Scala内不存在.

reduceByKey((F),1)的1是什么含义？指定分区数目.(上面的输出例子, 将结果写入1个文件还是多个文件.)

# 保存到HDFS上多个文件
scala> sc.textFile("hdfs://localhost:9000/wordcount/input").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("hdfs://localhost:9000/wordcount/20190525/out")

# 保存到HDFS上一个文件 (reduceByKey(_+_,1))
scala> sc.textFile("hdfs://localhost:9000/wordcount/input").flatMap(_.split("")).map((_,1)).reduceByKey(_+_,1).sortBy(_._2,false).saveAsTextFile("hdfs://localhost:9000/wordcount/20190525-2/out")

3、reduceByKey 与 groupByKey的区别?

reduceByKey先在各个分片进行计算, 最后进行汇总计算. groupByKey直接进行汇总计算.

在这里插入图片描述

虽然两个函数都能得出正确的结果，但reduceByKey函数更适合使用在大数据集上。这是因为Spark知道它可以在每个分区移动数据之前将输出数据与一个共用的key结合。

另一方面，当调用 groupByKey时，所有的键值对(key-value pair) 都会被移动,在网络上传输这些数据非常没必要，因此避免使用 GroupByKey。为了确定将数据对移到哪个主机，Spark会对数据对的key调用一个分区算法。当移动的数据量大于单台执行机器内存总量时Spark会把数据保存到磁盘上。不过在保存时每次会处理一个key的数据，所以当单个 key 的键值对超过内存容量会存在内存溢出的异常。这将会在之后发行的 Spark 版本中更加优雅地处理，这样的工作还可以继续完善。尽管如此，仍应避免将数据保存到磁盘上，这会严重影响性能。