SparkUI超详细解释（4）——Environment

Environment

Environment页面主要展示了spark作业在执行时的各类环境或框架的参数设置，如果想查看一个任务执行时真实生效的参数设置，可以在该页面查看（某些参数是xt默认提交，有些是集群默认设置，有些是spark hbo的自动调整等，都会和xt模板里人工设置的参数有所不同）。有时我们在xt模板里设置的参数错误（比如参数后面用中文“；”而不是英文“;”，比如参数的“=”两边有空格，都会造成设置的参数不生效），所以当实际执行结果和预期不符时在这个页面check下是有必要的。

我们需要关注的最重要的是Spark Properties部分，少量情况也可以看看Hadoop Properties部分，具体可以看看官网和我整理的核心参数

Spark里的配置参数（官网）

【基本功】Spark常用参数详解

有关Environment页面的自问自答

1.在Environment页面显示的参数100%会起作用吗

有些特殊情况要注意，比如下图在设置spark.sql.shuffle.partitions参数时不小心少打一个s变成了一个错误的不存在的参数，在Environment页面依然能够看到这个参数，但实际上参数是不生效的