003-90-04【RDD-Transformation】 sample, union, intersection, distinct 使用示例--来自于宝石山脚下小桥流水边人家大女儿小红的GPT笔记

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

// 创建 SparkConf 和 SparkContext
val conf = new SparkConf().setAppName("RDD Sample Example").setMaster("local")
val sc = new SparkContext(conf)

// 创建一个包含整数的 RDD
val rdd = sc.parallelize(1 to 10)

// 对 RDD 进行采样
val sampledRDD = rdd.sample(withReplacement = false, fraction = 0.5)

// 输出采样结果
sampledRDD.collect()

在上面的示例中，我们使用 sample 函数对 RDD 进行采样。sample 函数接受两个参数：withReplacement 和 fraction。
withReplacement 参数指定是否允许重复采样，fraction 参数指定要采样的比例。在示例中，我们采用了无重复采样，并且采样比例为 0.5。
最后，我们使用 collect 将采样结果收集到数组中，并输出结果。

使用 union 合并两个 RDD：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

// 创建 SparkConf 和 SparkContext
val conf = new SparkConf().setAppName("RDD Union Example").setMaster("local")
val sc = new SparkContext(conf)

// 创建两个包含整数的 RDD
val rdd1 = sc.parallelize(1 to 5)
val rdd2 = sc.parallelize(6 to 10)

// 合并两个 RDD
val unionRDD = rdd1.union(rdd2)

// 输出合并结果
unionRDD.collect()

在上面的示例中，我们使用 union 函数将两个 RDD 进行合并。最终的合并结果是一个包含 1 到 10 的整数的 RDD。我们使用 collect 将合并结果收集到数组中，并输出结果。

使用 intersection 获取两个 RDD 的交集：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

// 创建 SparkConf 和 SparkContext
val conf = new SparkConf().setAppName("RDD Intersection Example").setMaster("local")
val sc = new SparkContext(conf)

// 创建两个包含整数的 RDD
val rdd1 = sc.parallelize(1 to 5)
val rdd2 = sc.parallelize(4 to 8)

// 获取两个 RDD 的交集
val intersectionRDD = rdd1.intersection(rdd2)

// 输出交集结果
intersectionRDD.collect()

在上面的示例中，我们使用 intersection 函数获取两个 RDD 的交集。最终的交集结果是一个包含 4 和 5 的整数的 RDD。我们使用 collect 将交集结果收集到数组中，并输出结果。

下面是使用 Scala 示例代码来说明 distinct 操作的使用方法：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

// 创建 SparkConf 和 SparkContext
val conf = new SparkConf().setAppName("RDD Distinct Example").setMaster("local")
val sc = new SparkContext(conf)

// 创建一个包含重复元素的 RDD
val rdd = sc.parallelize(Seq(1, 2, 3, 4, 1, 2, 5, 3, 6, 7, 6))

// 对 RDD 进行去重
val distinctRDD = rdd.distinct()

// 输出去重后的结果
distinctRDD.collect()

在上面的示例中，我们首先创建了一个包含重复元素的 RDD。然后，我们使用 distinct 函数对 RDD 进行去重操作，得到一个新的 RDD，其中不包含重复的元素。最后，我们使用 collect 函数将去重后的结果收集到数组中，并输出结果。

运行上述代码后，输出的结果会是一个包含不重复元素的数组：Array(1, 2, 3, 4, 5, 6, 7)。

需要注意的是，distinct 操作会对整个 RDD 进行去重，因此它可能会导致数据的重分区。如果您对数据的顺序没有要求，可以在去重之前使用 repartition 或 coalesce 操作来控制数据的分区数量，以提高性能。