Spark 3.0参数详解之 spark.sql.files.maxPartitionBytes

fir_dameng

已于 2022-10-10 19:49:00 修改

阅读量3.9k

点赞数 1

分类专栏： Spark 文章标签： spark sql scala

于 2022-10-09 23:56:13 首次发布

本文链接：https://blog.csdn.net/u014034497/article/details/127235945

版权

本文深入解析Spark 3.0中`spark.sql.files.maxPartitionBytes`参数的作用，从源码层面探讨其在数据分区上的影响。详细介绍了partitions、maxSplitBytes和splitFiles等关键方法，并给出实际使用建议，提醒调整参数可能产生的小文件问题。

摘要由CSDN通过智能技术生成

1、对应源码位置

在接口FileScan的partitions方法中
在这里插入图片描述

org.apache.spark.sql.execution.datasources.v2.FileScan#partitions:
在这里插入图片描述

2、生效原理

2.1、关键方法之 partitions

org.apache.spark.sql.execution.datasources.v2.FileScan#partitions:

protected def partitions: Seq[FilePartition] = {
   
    val selectedPartitions = fileIndex.listFiles(partitionFilters, dataFilters)
    // 下面这行代码底层会读取spark.sql.files.maxPartitionBytes参数配置
    val maxSplitBytes = FilePartition.maxSplitBytes(sparkSession, selectedPartitions)
    val partitionAttributes = fileIndex.partitionSchema.toAttributes
    val attributeMap = partitionAttributes.map(a => normalizeName(a.name) -> a).toMap
    val readPartitionAttributes = readPartitionSchema.map {
    readField =>
      attributeMap.getOrElse(normalizeName(readField.name),
        throw QueryCompilationErrors.cannotFindPartitionColumnInPartitionSchemaError(
          readField, fileIndex.partitionSchema)
      )
    }
    lazy val partitionValueProject =
      GenerateUnsafeProjection