![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkCore
文章平均质量分 88
大数据蝼蚁
一个菜菜菜鸟
展开
-
Spark---通过集合创建RDD指定分区数源码分析
Spark—通过集合创建RDD指定分区数源码分析 首先来看一下通过集合创建RDD指定分区数的代码: object test03_RDDmem { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("test03_RDDmem") val sc: SparkContext = new SparkContext(co原创 2021-04-21 19:29:30 · 206 阅读 · 0 评论 -
Spark--默认创建RDD的分区个数规则
Spark–默认创建RDD的分区规则 创建RDD的三种方式 1)从集合(内存)中创建 方法:parallelize、makeRDD 2)从外部存储中创建 方法:testFile 3)从其他RDD中创建(执行转换算子的时候) 1)从集合(内存)中创建 方法:parallelize、makeRDD 1、首先来看一下这种方式创建的RDD是怎样的分区规则 代码: object test02_RDDDefalutPatirion { def main(arg原创 2021-04-20 14:33:57 · 921 阅读 · 1 评论