UDF的使用
在Spark中使用UDF(User Defined Function)很容易,Spark从2.3开始就已经提供了UserDefinedFunction
类来帮助我们更便捷的使用UDF,下面是一个简单的示例:
val replace: UserDefinedFunction = udf((value: String, source: String, target: String) => {
if (value == null) {
null
} else {
value.replace(source, target)
}
})
df.replace(col(&