- 博客(1)
- 收藏
- 关注
原创 Spark读取HDFS文件分区数量确定
结论split数量决定分区数量split数量取决于textFile ("", partitionNum)参数goalsize = totalsize / partitionNumsplitsize = Max(minSize,Max(goalsize, blocksize))文件大小大于splitsize 1.1倍会被拆分一个分区只能包含一个文件分区数量 >= 文件数量参考地址:https://www.jianshu.com/p/e33671341f0d...
2020-07-05 09:52:32 936
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人