翻开源码看Spark是如何确立RDD分区数的

翻开源码看Spark如何确立rdd的分区数

这大概是个爷爷不疼奶奶不爱的问题，但是很多小伙伴还是不太清楚的。借机开始spark的源码阅读之旅。

RDD 分区确定

翻开DataSourceScanExec的源码，会发现产生rdd有两个方法：

1. createBucketedReadRDD
2. createNonBucketedReadRDD

这样的分类，和hive的bucket机制有比较大的渊源，bucket可以将key值相同的数值合并在一起，同时又不像partition那样为每个key值建立一个文件夹。stackOverFlow中有个不错的回答： HIVE中partition和bucket的区别

Ok，我们主要来关注一般的情况，就是Non Bucketed创建Rdd时如何分区。代码不长，直接贴进来，注释在代码中：

private def createNonBucketedReadRDD(
    readFile: (PartitionedFile) => Iterator[InternalRow],
    selectedPartitions: Array[PartitionDirectory],
    fsRelation: HadoopFsRelation): RDD[InternalRow] = {
   
    
    // OpenCost，是一个经验配置值，默认的是4M，啥意思呢？就是你的打开文件的需要消耗的时间成本，然后根据经验，这个时长可以读多少的数据
    val openCostInBytes = fsRelation.sparkSession.sessionState.conf.filesOpenCostInBytes
    
    // maxSplitBytes, 看这名字就很关键，后文展开看
    val maxSplitBytes =
        FilePartition.maxSplitBytes(fsRelation.sparkSession, selectedPartitions)
        logInfo(s"Planning scan with bin packing, max size: $maxSplitBytes bytes, " +
                s"open cost is considered as scanning $openCostInBytes bytes.")