笔者通过udf创建spark sql 函数,代码如下:
val getKeyWordsFun = udf((con:Array[String],fea:Vector)=>{
//函数内容
});
使用如下:
idfDf.withColumn("keywords",getKeyWordsFun(col("contents"),col("idf_features")));
返回错误:
org.apache.spark.SparkException: Failed to execute user defined function(anonfun$3: (array<string>, vector) => string)
解决方法,将Array[String]改为Seq[String],问题解决,代码如下:
val getKeyWordsFun = udf((con:Seq[String],fea:Vector)=>{
//函数内容
});