spark的textFile API 支持读取单个文件,也支持读取文件夹路径并将文件夹路径下的文件都读取进内存处理,前面已经写了一篇关于 【本地/可分割/单个】 文件的分区处理,今天来看下 【本地/可分割/多个】 文件是怎么处理的。
一、简要概述
1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions,
2、然后依旧是通过goalSize,minSize,blockSize计算出splitSize,
3、最后将splitSize单独应用到每个文件上面,将所有分区加起来就是最后得到的总分区了。
二、分区过程
2.1、读取文件
这里可以看到spark将文件夹下的文件路径都拿到了,并且计算出了所有文件夹的totalSize
2.2、分割文件,记录切片信息
通过goalSize,minSize,blockSize计算出splitSize
最后将splitSize单独应用到每个文件上面, 使用for外层的一个list来记录所有切片信息
三、总结
3.1、跟单个文件的处理方式非常相似,建议先搞清楚单个文件的分区方式
3.2、goalSize是用所有文件的totalSize/minPartitions算出来的
3.3、splitSize是单独应用到每个文件上做切片的,
3.4、最后的分区数并不是简单的所有文件的Roundup(totalSize/splitSize),而是每个文件的Roundup(length/splitSize)得到的splits数相加。
Roundup:向上取整
Rounddown:向下取整