Spark中 UDF的使用

Spark提供了多种解决方案来应对复杂挑战， 但是我们面临了很多场景， 原生的函数不足以解决问题。因此，Spark允许我们注册自定义函数（User-Defined Functions, 或者叫 UDFs）。

SparkSQL中可以创建自定义函数UDF对dataframe进行操作，UDF是一对一的关系，用于给dataframe增加一列数据的场景。 每次传入一行数据，该行数据可以是一列，也可以是多列，进行一顿操作后，最终只能输出该新增列的一个值。
Spark支持多种语言，比如Python, Scala, Java, R, SQL. 但是通常数据操作都是用PySpark或者Spark Scala写的。

接下来说一下 udf函数的 两种注册方式：udf() 和 register()

UDF函数有两种注册方式:
- spark.udf.register()  // spark是SparkSession对象  
- udf()  // 需要import org.apache.spark.sql.functions._

//生成spark对象
val spark = SparkSession.builder()
		  .master("local[2]")
		  .appName("testUdf")
		  .config("spark.driver.memory", "1g")
		  .config("spark.executor.memory", "2g")
		  .config("spark.cores.max", "2")
		  .enableHiveSupport()
		  .getO