groupByKey实例分析Spark Hash Shuffle

最新推荐文章于 2024-06-16 00:53:07 发布

FocusOneThread

最新推荐文章于 2024-06-16 00:53:07 发布

阅读量1.4k

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/guotong1988/article/details/49465847

版权

Spark 专栏收录该内容

140 篇文章 1 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

在Spark中，groupByKey操作用于将相同键的数据聚合到一起。在这个测试用例中，创建了一个不压缩的shuffle配置，并通过`parallelize`生成包含键值对的数据。通过对数据进行groupByKey并收集，验证了结果中两个键对应的值是否正确。测试表明，键1的值为[1, 2, 3]，键2的值为[1]，证明了groupByKey的功能。" 126679948,7572226,Vue基础知识解析：模板与单向数据绑定,"['Vue.js', '前端框架', 'JavaScript']

摘要由CSDN通过智能技术生成

https://github.com/apache/spark/blob/master/core/src/test/scala/org/apache/spark/ShuffleSuite.scala
代码是这链接里的第一个例子

test(“groupByKey without compression”) {
val myConf = conf.clone().set(“spark.shuffle.compress”, “false”)
sc = new SparkContext(“local”, “test”, myConf)
val pairs = sc.parallelize(Array((1, 1), (1, 2), (1, 3), (2, 1)), 4)
val groups = pairs.groupByKey(4).collect()
assert(groups.size === 2)
val valuesFor1 = groups.find(_._1 == 1).get._2
assert(valuesFor1.toList.sorted === List(1, 2, 3))
val valuesFor2 = groups.find(_._1 == 2).get._2
assert(valuesFor2.toList.sorted === List(1))
}

hash shuffle