sqarkSQL中的UDF用户自定义函数理解及应用

sqarkSQL中的UDF用户自定义函数理解及应用

sqarksql不是万能的有一些功能无法实现所以我们需要自定义函数
例如 sqarksql中的 concat_ws(",",“A”,“B”)=>将两个字段合并成一个字段中间用,隔开
输入一行返回一行的就叫做udf
输入一行返回多行的就叫做udtf 你给我一行我给你造一个表 t的意思是table!
输入多行返回一行的就叫做udaf 将多行聚合成一行聚合函数

例如需求:
你输入一个id让他给你返回一个省市区,
在sql中是无法实现的,我们可以将他封装成为一个函数,我们以后再调的时候我可以调自己封装好的函数就可以了
代码实现:
创建一个spark环境

val spark: SparkSession = SparkSession.builder().master("local[*]")
  .appName(this.getClass.getSimpleName)
  .getOrCreate()
  import spark.implicits._

创建一个list集合:

val tp: Dataset[(String, String)] = spark.createDataset(List(("aaa","bbb"),("aaa","ccc"),("aaa","ddd")))
val df: DataFrame = tp.toDF("f1","f2").show()
表格实现:
+---+---+
| f1| f2|
+---+---+
|aaa|bbb|
|aaa|ccc|
|aaa|ddd|
+---+---+

方式一:DSL风格创建一个df.selectExpr(“表达式”)

df.selectExpr("concat_ws('---',f1,f2) as f3").show()
代码实现:
+---------+
|       f3|
+---------+
|aaa---bbb|
|aaa---ccc|
|aaa---ddd|
+---------+

方式二:你如果想用df.select(concat_ws())你就必须导入spark中的sql函数

import org.apache.spark.sql.functions._
df.select(concat_ws("|||",$"f1",'f2)as "f3")
代码实现:
+---------+
|       f3|
+---------+
|aaa|||bbb|
|aaa|||ccc|
|aaa|||ddd|
+---------+

方式三:注册成视图写sql语句

 
    df.createTempView("data")
    spark.sql(
      """
        |
        |select
        |concat_ws("_",f1,f2)as da
        |from
        |data
        |
      """.stripMargin).show()
代码实现:
  +---------+
|       da|
+---------+
|aaa///bbb|
|aaa///ccc|
|aaa///ddd|
+---------+    

方式四:利用DUF的方法自定义函数

  首先先注册一个udf传入三个参数1.函数名字,2.需要传入的可变参数们
    spark.udf.register("Myconcat_ws",(s:String,a:String,b:String)=>{
      a+s+b+a+b+s
    })
    df.selectExpr("Myconcat_ws('/-/-/-/',f1,f2) as f3").show()
    代码实现:
  +--------------------------+
|f3                        |
+--------------------------+
|aaa/-/-/-/bbbaaabbb/-/-/-/|
|aaa/-/-/-/cccaaaccc/-/-/-/|
|aaa/-/-/-/dddaaaddd/-/-/-/|
+--------------------------+
    

    spark.stop()
  }
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值