RDD默认分区源码（RDD数据从文件中读取后创建）

最新推荐文章于 2022-06-21 19:33:07 发布

mischen520

最新推荐文章于 2022-06-21 19:33:07 发布

阅读量139

点赞数

分类专栏： Spark 大数据

本文链接：https://blog.csdn.net/miachen520/article/details/117684290

版权

大数据同时被 2 个专栏收录

146 篇文章 5 订阅

订阅专栏

Spark

25 篇文章 1 订阅

订阅专栏

1）分区测试

object partition03_file_default {

    def main(args: Array[String]): Unit = {

        val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkCoreTest")
        val sc: SparkContext = new SparkContext(conf)

        //1）默认分区的数量：默认取值为当前核数和2的最小值,一般为2
        //val rdd: RDD[String] = sc.textFile("input")

        rdd.saveAsTextFile("output")

        sc.stop()
    }
}

2）分区源码