Spark测试元素操作前后分区不变

最新推荐文章于 2024-11-03 18:07:18 发布

QYHuiiQ

最新推荐文章于 2024-11-03 18:07:18 发布

阅读量221

点赞数

分类专栏：大数据之Spark 文章标签： spark 大数据 scala

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/127435283

版权

大数据之Spark 专栏收录该内容

19 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

博客探讨了在Spark中，对RDD元素进行如乘法运算等操作后，元素原本所在的分区保持不变。通过实例展示了1和2在操作前后的分区一致性，证明了Spark的这一特性。

摘要由CSDN通过智能技术生成

在Spark中，对原始的RDD中的元素进行操作，例如乘法操作，操作前后，元素对应的值所在的分区不变。

package test.wyh.wordcount

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object TestFlatMap {
  def main(args: Array[String]): Unit = {

    //建立Spark连接
    val sparkConf = new SparkConf().setMaster("local").setAppName("TestWordCountApp")
    val sc = new SparkContext(sparkConf)

    //设置分区个数为2
    val rdd = sc.makeRDD(List(1,2,3,4), 2)
    //将原始RDD输出
    rdd.saveAsTextFile("output1")
    //将原始RDD中的元素值做乘2运算
    val mapRDD = rdd.map(_ * 2)
    //将操作后的值输出
    mapRDD.saveAsTextFile("output2")

    //关闭连接
    sc.stop()

  }

}

运行结果：

生成了两个目录，并在各自目录下根据我们的参数配置