Spark学习笔记 --- 触发Shuffle的算子和操作

最新推荐文章于 2022-08-17 17:17:03 发布

杨鑫newlfe

最新推荐文章于 2022-08-17 17:17:03 发布

阅读量1.4k

点赞数 1

分类专栏：大数据挖掘与大数据应用案例文章标签： Spark Shuffle

本文链接：https://blog.csdn.net/u012965373/article/details/100044452

版权

大数据挖掘与大数据应用案例专栏收录该内容

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

本文是Spark学习笔记，深入探讨了触发Shuffle的几个关键操作，包括数据去重、各种聚合操作、排序机制、重分区过程以及集合和表的相关操作，帮助理解Spark内部数据处理流程。

摘要由CSDN通过智能技术生成

1.去重：

def distinct()
def distinct(numPartitions: Int)

2.聚合：

def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]
def reduceByKey(partitioner: Partitioner, func: (V, V) => V): RDD[(K, V)]
def groupBy[K](f: T => K, p: Partitioner):RDD[(K, Iterable[V])]
def groupByKey(partitioner: Partitioner):RDD[(K, Iterable[V])]
def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner): RDD[(K, U)]
def aggregateByKey[U: ClassTag](zeroValue: U, numPartitions: Int): RDD[(K, U)]
def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)]
def combineByKey[C](cr

了解本专栏