Spark - Transformation算子Zip使用

最新推荐文章于 2022-11-25 16:38:52 发布

摸鱼同学

最新推荐文章于 2022-11-25 16:38:52 发布

阅读量1.5k

点赞数

分类专栏： # Spark 文章标签：编辑器 spark big data

本文链接：https://blog.csdn.net/qq_24256877/article/details/122024426

版权

Spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Spark - Transformation算子Zip使用

zip说明
注意事项
代码示例

zip说明

zip 自身的RDD的值的类型为T类型，另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个新的元组值
def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)] = withScope {处理逻辑}

注意事项

需要两个rdd有相同的分区数和数据条数相同
Exception1: Can’t zip RDDs with unequal numbers of partitions: List(1, 8) = 分区数不同
Exception2: Can only zip RDDs with same number of elements in each partition = 数据条数不相同
需要注意的是，有相同的分区但并不能保证你会在每个分区相同的分布每个RDD，由于有不同类型RDDS和大多有不同的分区策略

代码示例

val matchesPath = "examples_data/kaggle_data/IPL_total_data/IPL Matches 2008-2020.csv"
    val sc = sparkContextLocal
    val matchesRDD = sc.textFile(matchesPath, 1)
      .map(line => {
        val split = line.split(",")
        // 返回kaggle样例类
        KaggleIPLMatches(
          split(0),split(1),split(2),split(3),split(4),split(5),
          split(6),split(7),split(8),split(9),split(10),split(11),
          split(12),split(13),split(14),split(15),split(16)
        )
      })

    val limitRdd = matchesRDD.take(100)
    val valueRdd = sparkContextLocal.makeRDD(limitRdd).repartition(1)
    val ss = sc.parallelize(1 to 100).repartition(valueRdd.getNumPartitions) // 指定分区数

    /**
     * zip操作将这两个值连接在一起
     * zip 条件
     * 需要两个rdd有相同的分区数 和 数据数量相同
     * Exception1: Can't zip RDDs with unequal numbers of partitions: List(1, 8)    = 分区数不同
     * Exception2: Can only zip RDDs with same number of elements in each partition = 数据条数不相同
     * 需要注意的是，有相同的分区但并不能保证你会在每个分区相同的分布每个RDD，由于有不同类型RDDS和大多有不同的分区策略
     */
    // Exception2: Can only zip RDDs with same number of elements in each partition
    // 两个 RDD 具有相同数量的分区，这些 RDD 中的各个分区具有完全相同的大小
    val zipRDD = ss.zip(valueRdd)
    zipRDD.foreach(println)