spark sql 自定义函数以及dataframe Row的解析

//自定义函数

val spark = SparkSession
      .builder()
      .master("local[*]")
      .appName("dataDeal")
      .getOrCreate()

 spark.udf.register("functionName", (args: String) => {
      if (args == null) {
        "0"
      } else {

      //声明一个 StringBuilder
        val sb = new StringBuilder

//带步长的scala for循环 
        for (i <- Range(0, hex.length, 2)) {
          val output = hex.substring(i, (i + 2))
          val decimal = Integer.parseInt(output, 16)
          sb.append(decimal)
        }
        sb.toString()
      }
    })

spark sql  dataframe row的解析

在sparksql编程时，经常需要对row进行map

1 使用 Row提供的get方法，

2 使用类型匹配

3 使用类型匹配和样例类

 

1get 方法

val df=spark.sql("select id,sid from ta