UDF函数

1. Python UDF
在Python中，UDF通常可以在如Pandas等数据处理库中使用。例如，您可以定义一个简单的UDF来计算数字列表的平均值。

import pandas as pd

# Define the UDF
def calculate_average(numbers):
    return sum(numbers) / len(numbers)

# Apply the UDF to a DataFrame
df = pd.DataFrame({
    'numbers': [[10, 20, 30], [40, 50, 60], [70, 80, 90]]
})

df['average'] = df['numbers'].apply(calculate_average)
print(df)

2. Java UDF
在Java中，UDF通常在数据库查询或特定框架（如Apache Hive）中使用。以下是一个简单的Java UDF，用于Apache Hive，它将字符串转换为大写。

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class UpperCaseUDF extends UDF {
    public Text evaluate(final Text s) {
        if (s == null) { return null; }
        return new Text(s.toString().toUpperCase());
    }
}

在Hive中，你需要先添加这个Java UDF，然后才能在SQL查询中使用它。

3. Spark UDF
在Apache Spark中，UDF可以在DataFrame上使用，用来转换数据。以下是一个Spark UDF的示例，用Scala语言，它计算字符串的长度。

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.udf

// Initialize Spark Session
val spark = SparkSession.builder().appName("Spark UDF Example").getOrCreate()
import spark.implicits._

// Define the UDF
val stringLength = udf((s: String) => s.length)

// Create a DataFrame
val df = Seq(("hello"), ("world")).toDF("word")

// Use the UDF to add a new column
val dfWithLength = df.withColumn("length", stringLength($"word"))
dfWithLength.show()



在上述代码中，我们创建了一个名为stringLength的UDF，它接受一个字符串并返回其长度。然后，我们创建了一个单列DataFrame，其中包含单词，并使用UDF添加了一个包含每个单词长度的新列。

*注意：这些代码段提供了UDF的结构示例，实际使用时需要在具体环境中进行编译和测试。*