scala调用java类全局变量,如何在SparkSQL的UDF中使用外部全局变量？

测试代码如下：

object GuangBoTest {

var y: Broadcast[String] = null

def main(args: Array[String]): Unit = {

val sparkSession = SparkSession.builder().appName("x").getOrCreate()

y = sparkSession.sparkContext.broadcast("y")

sparkSession.sqlContext.udf.register("test", test _) //行号14

val testSQL = "select test('x') as result"

sparkSession.sql(testSQL).show

sparkSession.stop

}

def test(s: String): String = {

s + "_" + y.value //行号24

}

}

问题在于

sparkSession.sqlContext.udf.register("test", test _)

这行代码在本地跑没问题，但是在yarn cluster模式报错

Caused by: java.lang.NullPointerException

at cn.com.cig.sparkeyesight.nlp.pretreated.GuangBoTest$.test(GuangBoTest.scala:24)

at cn.com.cig.sparkeyesight.nlp.pretreated.GuangBoTest$$anonfun$main$1.apply(GuangBoTest.scala:14)

at cn.com.cig.sparkeyesight.nlp.pretreated.GuangBoTest$$anonfun$main$1.apply(GuangBoTest.scala:14)

其实我的意图，就是在test这个UDF里使用一个全局变量

在实际项目的当中，这个全局变量来自于对一个csv文件的读取，并且转换为Map[String, String]的结果

我尝试过不论用还是不用广播变量，如果把这个变量写在main上面则会报这个错误，写在里面下面的y则无法取到，这时如果尝试给注册UDF那句话传两个参数，第二个参数会是字符串null

在此求一个SparkSQL的UDF中使用外部全局变量的正确姿势！

谢谢！