spark读取文件分区,textFile()的理解
textFile函数SparkContext.textFile(path,minPartitions)设置两个文件:1.txt 和 2.txt放在data目录下,读取data目录,结合实际分区理解最小分区数对最终分区个数的影响。1.txt文件内容如下1234562.txt文件内容如下78910测试代码val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local")val sc = new S
原创
2021-09-08 16:49:30 ·
2740 阅读 ·
1 评论