//自定义函数
val spark = SparkSession
.builder()
.master("local[*]")
.appName("dataDeal")
.getOrCreate()
spark.udf.register("functionName", (args: String) => {
if (args == null) {
"0"
} else {
//声明一个 StringBuilder
val sb = new StringBuilder
//带步长的scala for循环
for (i <- Range(0, hex.length, 2)) {
val output = hex.substring(i, (i + 2))
val decimal = Integer.parseInt(output, 16)
sb.append(decimal)
}
sb.toString()
}
})
spark sql dataframe row的解析
在sparksql编程时,经常需要对row进行map
1 使用 Row提供的get方法,
2 使用类型匹配
3 使用类型匹配和样例类
1get 方法
val df=spark.sql("select id,sid from ta