SparkBug解决 ：java.lang.UnsupportedOperationException: Schema for type Any is not supported

  // 创建UDF函数，用于计算flag标识
    val flagUDF = udf((azimuth: Double) => {
      if (azimuth >= 0 && azimuth <= 360) {
        ((azimuth / 0.5).toInt % 720) + 1
      } else {
        null
      }
    })

    // 添加flag列
    val result = resultDf.withColumn("flag", flagUDF($"azimuth"))

出现这个错误是因为 Spark 不支持使用 Any 类型作为列的数据类型。

为了解决这个问题，将 UDF 的返回类型指定为 Option[Int]，并在 UDF 中返回 Option 类型的值。

 // 创建UDF函数，用于计算flag标识
    val flagUDF = udf((azimuth: Double) => {
      if (azimuth >= 0 && azimuth < 360) {
        Some(((azimuth / 0.5).toInt % 720) + 1)
      } else {
        None
      }
    })

    // 添加flag列
    val result = df.withColumn("flag", flagUDF($"azimuth"))

​​​​​​​