请查看此微博,参考地址:https://www.jianshu.com/p/e33671341f0d
结论
- split数量决定分区数量
- split数量取决于textFile ("", partitionNum)参数
- goalsize = totalsize / partitionNum
- splitsize = Max(minSize,Min(goalsize, blocksize))
- 文件大小大于splitsize 1.1倍会被拆分
- 一个分区只能包含一个文件
- 分区数量 >= 文件数量
请查看此微博,参考地址:https://www.jianshu.com/p/e33671341f0d