本文介绍了如何在Scala中使用User Defined Functions(UDFs)来实现两个list的内积计算和两个字符串的交集操作。内积示例中,展示了将list元素转换为整数进行计算的过程,而交集示例则演示了如何处理由逗号分隔的字符串并找到它们的交集。此外,还提到了在SparkSQL中应用这些UDF的方法,以及通过size字段筛选有交集的记录的可能性。
摘要由CSDN通过智能技术生成
Scala之udf
1.定义list内积udf;定义字符串交集udf
1.内积udf:两个list做内积
这里举例两个list做内积,list不能直接toInt,需要map toInt。
//定义内积udf
def getInner(listNameA:String,listNameB:String):Int={
val listIntA = listNameA.split(",").map(_.toInt)
val listIntB = listNameB.split(",").map<
Scala之udf1.两个list(String)做内积定义内积udf,两个list做内积,list不能直接toInt,需要map toInt。//定义内积udfdef getInner(listNameA:String,listNameB:String):Int={ val listIntA = listNameA.split(",").map(_.toInt) val listIn...