原始代码如下:
val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordcount")
val sc=new SparkContext(conf)
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4),2)
//将处理的数据保存分区文件
rdd.saveAsTextFile("output2")
sc.stop()
makeRDD方法可以传第二个参数,这个参数表是分区的数量
第二个参数可以不传递有默认值:defaultParallelism(默认的并行度)
![](https://img-blog.csdnimg.cn/img_convert/92bdc2e353eb4469fbcbcb48677ecc37.png)
默认的并行度调用的是backend.defaultParallelis()方法
![](https://img-blog.csdnimg.cn/img_convert/e85948acf0d1cc3840331f39143d502f.png)
TaskSchedulerImpl.scala
![](https://img-blog.csdnimg.cn/img_convert/ca31d73f2b4b25c7efdcd74637c56582.png)
SchedulerBackend.scala
![](https://img-blog.csdnimg.cn/img_convert/7f4f06cd84b4349a18594aba2016e38b.png)
spark在默认情况下,从配置对象中获取配置参数 spark.default.parallelism
![](https://img-blog.csdnimg.cn/img_convert/8ee23bf8e41521b96bde81d5265e5bc1.png)
// 如果获取不到,那么使用totalCores属性,这个属性是当前运行环境的最大可用核数
按照代码举例,当没有设置parallelism参数时最后执行的结果如图
![](https://img-blog.csdnimg.cn/img_convert/d1237c182da6229b582b4df2010a157c.png)
本人处理器
![](https://img-blog.csdnimg.cn/img_convert/15b187bb5cf4b2033426aebd014cf964.png)
有个问题需要注意一下:
setMaster("local[*]") 使用的是所有的核数
setMaster("local")使用的是单核
总结:
//makeRDD方法可以传第二个参数,这个参数表是分区的数量
//第二个参数可以不传递有默认值:defaultParallelism(默认的并行度)
//默认的并行度调用的是backend.defaultParallelis()方法
// 最后调用scheduler.conf.getInt("spark.default.parallelism", totalCores)
// spark在默认情况下,从配置对象中获取配置参数 spark.default.parallelism
// 如果获取不到,那么使用totalCores属性,这个属性是当前运行环境的最大可用核数