Spark RDD算子（七）groupByKey、cogroup

最新推荐文章于 2023-09-04 09:03:18 发布

jalrs

最新推荐文章于 2023-09-04 09:03:18 发布

阅读量410

点赞数

文章标签： spark 大数据算子

本文链接：https://blog.csdn.net/qq_40333693/article/details/109620280

版权

本文介绍了Spark中的RDD算子groupByKey和cogroup的使用。groupByKey将相同key的元素分组，形成(key, iterable[value])结构，类似SQL的GROUP BY操作。而cogroup则能对多个RDD按相同key分组，返回(key, Iterable[value1], Iterable[value2], ...)，便于对比不同RDD中的数据。文章通过实例展示了如何在Scala和Java中实现这两个操作。" 7759506,744680,深入理解JBPM：从基础到实践,"['工作流管理', '业务流程', 'JBoss', '数据库设计', '流程定义']

摘要由CSDN通过智能技术生成

groupByKey
groupByKey会将RDD[key,value]按照相同的key进行分组，形成RDD[key,iterable[value]]的形式，有点类似于sql中的groupby，例如类似于mysql中的group_contact
例：对学生成绩进行分组
scala版本：

val conf = new SparkConf().setMaster("local[1]").setAppName("GroupByKey")
val sc = new SparkContext(conf)
val scoreRDD = sc.parallelize(List(("Aythna",98),("Aythna",97),("Kirito",95),("Kirito",93),("Ushio",100)))
println("每一个学生的所有成绩")
scoreRDD.groupByKey().collect().foreach(println)
println("每一个学生的每一科成绩")
scoreRDD.groupByKey().collect.foreach(
	x => {
   
	val name = x._1
	val scores = x._2
	scores.foreach(scores => {
   
	println(name,scores)
	})
	}
)

在这里插入图片描述

java版本：

SparkConf conf = new SparkConf().setMaster("local[1]").setAppName(GroupByKey);
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD<Tuple2<String,Float>> scoreDetails = sc.parallelize(Arrays.asList(
	new Tuple2<>("Aythna",90F),
	new Tuple2<>("Aythna",98F),
	new Tuple2