spark-sql启动后在监控页面中显示的Application Name为SparkSQL::xxxx的疑问

最新推荐文章于 2022-10-22 16:01:55 发布

weixin_30501857

最新推荐文章于 2022-10-22 16:01:55 发布

阅读量130

点赞数

文章标签：大数据 java

原文链接：http://www.cnblogs.com/luogankun/p/4135006.html

版权

启动spark-sql执行sql时，在监控页面中看到该Application的Name是SparkSQL:hadoop000(其中hadoop000是测试机器的hostname)，就有个想法，修改下该application的name，在spark-sql --help中看到--name NAME的参数设置，于是乎就在启动spark-sql时设置参数：

spark-shell --name  test

启动后发现该Application的Name还是SparkSQL:hadoop000，启动时指定的参数并没有生效，翻了下源码才知道原来是在SparkSQLCLIDriver启动过程中设置了SparkSQLEnv的信息，在SparkSQLEnv.init方法中

def init() {
    if (hiveContext == null) {
        val sparkConf = new SparkConf()
            .setAppName(s"SparkSQL::${java.net.InetAddress.getLocalHost.getHostName}")
            .set("spark.sql.hive.version", HiveShim.version)
        sparkContext = new SparkContext(sparkConf)
        ...
    }
}