【spark2】【源码学习】【分区数】spark读取 本地/可分割/多个 的文件时是如何划分分区

spark的textFile API 支持读取单个文件，也支持读取文件夹路径并将文件夹路径下的文件都读取进内存处理，前面已经写了一篇关于 【本地/可分割/单个】 文件的分区处理，今天来看下 【本地/可分割/多个】 文件是怎么处理的。

一、简要概述

1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions，
2、然后依旧是通过goalSize，minSize，blockSize计算出splitSize，
3、最后将splitSize单独应用到每个文件上面，将所有分区加起来就是最后得到的总分区了。

二、分区过程

2.1、读取文件

这里可以看到spark将文件夹下的文件路径都拿到了，并且计算出了所有文件夹的totalSize

2.2、分割文件，记录切片信息

通过goalSize，minSize，blockSize计算出splitSize
最后将splitSize单独应用到每个文件上面, 使用for外层的一个list来记录所有切片信息

三、总结

3.1、跟单个文件的处理方式非常相似，建议先搞清楚单个文件的分区方式

3.2、goalSize是用所有文件的totalSize/minPartitions算出来的

3.3、splitSize是单独应用到每个文件上做切片的，

3.4、最后的分区数并不是简单的所有文件的Roundup(totalSize/splitSize)，而是每个文件的Roundup(length/splitSize)得到的splits数相加。

Roundup：向上取整
Rounddown：向下取整