Spark RDD算子(七) groupByKey、cogroup

最新推荐文章于 2021-09-20 08:50:21 发布
最新推荐文章于 2021-09-20 08:50:21 发布
阅读量146 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/timicai/article/details/109611614
版权
本文详细介绍了Spark中的两个关键算子——groupByKey和cogroup。groupByKey用于将相同key的元素聚合，返回结果为RDD[key, Iterable[value]]，类似于SQL的GROUP BY操作，但不建议在大规模数据中直接使用，因为可能会导致性能问题，推荐使用reduceByKey或combineByKey进行优化。cogroup则是对具有相同键的多个RDD进行分组，提供了一种同时处理多个RDD中相同键值的方法。" 114154618,10536023,Java利用高德API实现经纬度到地理位置转换,"['Java开发', '地图API', '地理编码']
摘要由CSDN通过智能技术生成

目录

一、groupByKey

groupByKey会将RDD[key,value] 按照相同的key进行分组，形成RDD[key,Iterable[value]]的形式， 有点类似于sql中的groupby
groupByKey不能传算法，消耗性能，优化尽量使用reduceByKey或combineByKey

例：对学生的成绩进行分组

scala版本

val conf=new SparkConf().setMaster("local[2]").setAppName("groupby")
val sc=new SparkContext(conf)

val rdd=sc.makeRDD(List(("张三",97),("张三",87),
  ("李四",97),("李四",99),("小罗",100)))

val scoreGroupRdd = rdd.groupByKey()
//姓名,(分数,分数)的元组
scoreGroupRdd.collect.foreach(println)
//姓名,分数
scoreGroupRdd.collect.foreach(x=> {
   
  val name=x._1
  val scoreDetail=x._2
  scoreDetail.foreach(scoreDetail=>println(name,scoreDetail))
})

java版本

SparkConf conf=new SparkConf().setMaster("local[2]").setAppName("groupbyjava");
JavaSparkContext sc=new JavaSparkContext(conf);

//将JavaRDD<Tuple2<String,Float>> 类型转换为 JavaPairRDD<String, Float>
JavaPairRDD<String, Float> scoreMapRdd = JavaPairRDD.fromJavaRDD(scoreRdd);
JavaPairRDD<String, Iterable<Float>> scoreByKeyRdd = scoreMapRdd.groupByKey();
Map<
最低0.47元/天 解锁文章
习惯de味道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark RDD算子（七）groupByKey、cogroup
qq_40333693的博客
11-11 408
groupByKey groupByKey会将RDD[key,value]按照相同的key进行分组，形成RDD[key,iterable[value]]的形式，有点类似于sql中的groupby，例如类似于mysql中的group_contact 例：对学生成绩进行分组 scala版本： val conf = new SparkConf().setMaster("local[1]").setAppName("GroupByKey") val sc = new SparkContext(conf) val s
Spark编程之基本的RDD算子之cogroup，groupBy，groupByKey
热门推荐
stevekangpei的博客
07-24 1万+
Spark编程之基本的RDD算子之cogroup，groupBy，groupByKey 1) cogroup [Pair], groupWith [Pair] 首先来看一下它的api。def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))] def cogroup[W](other: RDD[(K, W)], n
Spark基本的RDD算子之groupBy，groupByKey，mapValues
weixin_34375054的博客
11-29 1301
1.groupby def groupBy[K: ClassTag](f: T => K): RDD[(K, Iterable[T])] def groupBy[K: ClassTag](f: T => K, numPartitions: Int): RDD[(K, Iterable[T])] def groupBy[K: ClassTa...
SparkRDD算子--groupByKey算子
寒暄的博客
08-01 693
语法 val newRdd = oldRdd.groupByKey 源码 def groupByKey(partitioner : org.apache.spark.Partitioner) : org.apache.spark.rdd.RDD[scala.Tuple2[K, scala.Iterable[V]]] = { /* compiled code */ } 作用 对K-V类型的RDD按照Key对value分组。 例子 package com.day1 import org.apache.sp
pyspark：RDD：groupByKey()，reduceByKey()
weixin_46408961的博客
09-20 667
1.parallelize()创建RDD： words = sc.parallelize([("hadoop",1),("is",1),("good",1),\ ("spark",1),("is",1),("fast",1),("spark",1),("is",1),\ ("better",1)]) wordsres1 = words.groupByKey() wordsres1.collect() 2.groupByKey()结果： [('hadoop', <pys
8、Spark_RDD算子——GroupByKey
weixin_39025328的博客
10-10 219
一、SparkUtils工具类 import org.apache.spark.{SparkConf, SparkContext} object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
Spark常用的算子以及Scala函数总结.pdf
05-17
9. cogroup(otherDataSet, numPartitions): 对两个 RDD 中的键值对按照相同的键进行分组，返回的结果是一个键和两个 RDD 中对应值的集合的元组。 10. join(otherDataSet, numPartitions): 对两个 RDD 进行内连接，...
Spark Streaming算子开发实例
08-25
Spark Streaming 算子开发实例 Spark Streaming 算子开发实例是指在 Spark Streaming 中使用 transform 算子和 updateStateByKey 算子来实现实时数据处理和状态更新的技术。本文将通过实例代码详细介绍 transform ...
sparkRDD函数大全
02-28
spark rdd函数大全。spark rdd操作为core操作，虽然后续版本主要以dataset来操作，但是rdd操作也是不可忽略的一部分。
spark基本算子操作
03-21
### Spark基本算子操作 #### 一、概述 在Spark框架中，为了高效地处理大规模数据，设计了一系列的算子操作。这些算子分为两类：转换（Transformations）和动作（Actions）。转换算子用于创建新的分布式数据集，而...
spark常用RDD算子 - groupByKey
小哇
08-02 1766
def groupByKey(): RDD[(K, Iterable[V])] def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])] groupByKey会将RDD[key,value] 按照相同的key进行分组，形成RDD[key,Iterable[value]]的形式， 有点类似于sql中的groupby，例如类
大数据——Spark RDD算子（七）键值对分组操作groupByKey、cogroup
蜂蜜柚子加苦茶
11-09 479
Spark RDD算子（七）键值对分组操作groupByKey、cogroupgroupByKeyScala版本Java版本cogroupScala版本Java版本 groupByKey def groupByKey(): RDD[(K, Iterable[V])] def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])
SparkRDD
weixin_42264502的博客
09-01 264
RDD RDD定义 弹性分布式数据集， 弹性：存储弹性，内存与磁盘的自动切换 容错弹性，数据丢失可以自动恢复 计算弹性，计算出错重试机制 分片弹性，可根据需要重新分片 分布式：数据存储在大数据集群不同节点上 数据集：RDD封装了计算逻辑，并不保存数据 数据抽象：RDD是一个抽象类，需要子类具体实现 不可变：RDD封装了计算逻辑是不可变的,如果想改变要重新定义RDD 可分区、并行计算 RDD的特性 A list of partitions 多个分区，分区可以看成是数据集的基本组成单位 A function f
spark(十)RDD的groupByKey和reduceByKey实现
rover
05-26 752
先上源码： /** RDD.scala * Return an RDD of grouped items. Each group consists of a key and a sequence of elements * mapping to that key. The ordering of elements within each group is not guaranteed, and * may even differ each time the resulting RD
spark groupbykey、join、cogroup算子的区别
石榴姐yyds
03-17 838
区别： groupbykey：按key进行聚合，同一个RDD中进行聚合。理解为一个表中进行group by cogroup：多个RDD进行group by（聚合）。理解为两张表中做group by join；RDD之间的连接操作。相当于SQL中的join操作 cogroup与groupbykey的区别是groupbykey是一个RDD中做聚合（同一个表中），cogroup是不同RDD中做聚合（分组），理解为两个表中。 cogroup与join的区别 官网对join和cogroup解释 cog
rdd groupByKey入门到熟悉
鸭梨的博客
11-20 1122
scala> val list = List("hadoop","spark","hive","spark") list: List[String] = List(hadoop, spark, hive, spark) scala> val rdd = sc.parallelize(list) rdd: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[0] at parallelize at <console>:26
Spark groupbykey和cogroup使用示例
06-27 6146
groupByKey groupByKey([numTasks])是数据分组操作，在一个由（K,V）对组成的数据集上调用，返回一个（K,Seq[V])对的数据集。 val rdd0 = sc.parallelize(Array((1,1), (1,2) , (1,3) , (2,1) , (2,2) , (2,3)), 3) val rdd1 = rdd0.groupByKey() rdd
spark RDD算子（七）之键值对分组操作 groupByKey，cogroup
qianchun22的博客
11-10 1633
一、groupByKey 函数定义 def groupByKey(): RDD[(K, Iterable[V])] def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])] groupByKey会将RDD[key,value] 按照相同的key进行分组，形成RDD[key,Iterable[value]]的形式，有点类
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值