笔者在使用LSH 获取相似文本时,遇到返回的Dataframe的结果比较复杂,如下:
现在想使用UDF函数处理datasetA和datasetB的内容,但是由于数据结构复杂,无法直接写参数,所以需要使用Row,代码如下:
val getIdFun = udf((input:Row)=> {
input(0).toString.toInt;
});
并且需要注意,在udf函数中,不能返回Row,只能将Row进行处理后返回常规数据结构。
笔者在使用LSH 获取相似文本时,遇到返回的Dataframe的结果比较复杂,如下:
现在想使用UDF函数处理datasetA和datasetB的内容,但是由于数据结构复杂,无法直接写参数,所以需要使用Row,代码如下:
val getIdFun = udf((input:Row)=> {
input(0).toString.toInt;
});
并且需要注意,在udf函数中,不能返回Row,只能将Row进行处理后返回常规数据结构。