Spark 自定义UDF函数

前言

用户可以通过 spark.udf 功能添加自定义函数，实现自定义功能

案例需求

我们期望在查询的语句里面，对某些字段的结果拼接特定的前缀

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

object SparkSQL_UDF1 {


  def main(args: Array[String]): Unit = {

    // TODO 创建SparkSQL的运行环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("sparkSQL")
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()
    import spark.implicits._

    val df = spark.read.json("E:\\code-self\\spi\\datas\\user.json")
    df.createOrReplaceTempView("user")

    spark.udf.register("prefixName", (name:String) => {
      "N