spark计算一个数组的概率密度

写一个spark UDF函数，入参是Array[Float]，求该数组条数据的概率密度，均值是该数组的均值，标准差是该数组的标准差，最后返回数组，公式如下：

代码如下：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.udf
import org.apache.commons.math3.distribution.NormalDistribution

object PDFCalculator {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("PDF Calculator").getOrCreate()

    // 示例数据
    val data = Seq(
      Array(1.0f, 2.0f, 3.0f, 4.0f, 5.0f),
      Array(2.0f, 3.0f, 4.0f, 5.0f, 6.0f)
    )

    // 注册UDF
    val calculatePDF = udf { (array: Seq[Float]) =>
      val mean = array.sum / array.length.toDouble
      val variance = array.map(value => math.pow(value - mean, 2)).sum / array.length.toDouble
      val stdDev = math.sqrt(variance)

      val normalDist = new NormalDistribution(mean, stdDev)
      array.map(value => normalDist.density(value.toDouble).toFloat)
    }

    // 创建DataFrame
    import spark.implicits._
    val df = data.toDF("array")

    // 应用UDF计算概率密度函数
    val result = df.withColumn("pdf_values", calculatePDF($"array"))

    // 显示结果
    result.show(truncate = false)

    // 停止 SparkSession
    spark.stop()
  }
}

这里用到了math3的依赖：

        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-math3</artifactId>
            <version>3.6.1</version>
        </dependency>

这段代码中，首先定义了一个名为 calculatePDF 的 UDF。该函数接受一个 Array[Float] 类型的参数，并返回一个数组，数组中每个元素是对应位置元素的概率密度值。在 UDF 内部，首先计算了数组的均值和标准差，然后使用这些值来初始化一个正态分布，并计算每个元素的概率密度值。

接着，创建了一个示例数据的 DataFrame，并将 UDF 应用到 DataFrame 中的数组列上，计算每个数组的概率密度函数值。最后展示了结果，每个数组对应的概率密度函数值数组被添加为新的列。