Explain 查看执行计划
Spark 3.0 大版本发布,Spark SQL 的优化占比将近 50%。Spark SQL 取代 Spark Core,成为新一代的引擎内核,所有其他子框架如 Mllib、Streaming 和 Graph,都可以共享 Spark SQL 的性能优化,都能从 Spark 社区对于 Spark SQL 的投入中受益。
要优化 SparkSQL 应用时,一定是要了解 SparkSQL 执行计划的。发现 SQL 执行慢的根本原因,才能知道应该在哪儿进行优化,是调整 SQL 的编写方式、还是用 Hint、还是调参,而不是把优化方案拿来试一遍。
准备测试用表和数据
1、上传 3 个 log 到 hdfs 新建的 sparkdata 路径
2、hive 中创建 sparktuning 数据库
3、执行
spark-submit --master yarn --deploy-mode client --driver-memory 1g --num executors 3 --executor-cores 2 --executor-memory 4g --class com.atguigu.sparktuning.utils.InitUtil spark-tuning-1.0-SNAPSHOT-jar with-dependencies.jar
基本语法
.explain(mode="xxx")
从 3.0 开始,explain 方法有一个新的参数 mode,该参数可以指定执行计划展示格式:
➢ explain(mode=“simple”):只展示物理执行计划。
➢ explain(mode=“extended”):展示物理执行计划和逻辑执行计划。
➢ explain(mode=“codegen”) :展示要 Codegen 生成的可执行 Java 代码。
➢ explain(mode=“cost”):展示优化后的逻辑执行计划以及相关的统计。
➢ explain(mode=“formatted”):以分隔的方式输出,它会输出更易读的物理执行计划,
并展示每个节点的详细信息。
执行计划处理流程
这些操作和计划都是 Spark SQL 自动处理的,会生成以下计划:
➢ Unresolved 逻辑执行计划:== Parsed Logical Plan ==
Parser 组件检查 SQL 语法上是否有问题,然后生成 Unresolved(未决断)的逻辑计划,
不检查表名、不检查列名。
➢ Resolved 逻辑执行计划:== Analyzed Logical Plan ==
通过访问 Spark 中的 Catalog 存储库来解析验证语义、列名、类型、表名等。
➢ 优化后的逻辑执行计划:== Optimized Logical Plan ==
Catalyst 优化器根据各种规则进行优化。
➢ 物理执行计划:== Physical Plan ==
1)HashAggregate 运算符表示数据聚合,一般 HashAggregate 是成对出现,第一个HashAggregate 是将执行节点本地的数据进行局部聚合,另一个 HashAggregate 是将各个分区的数据进一步进行聚合计算。
2)Exchange 运算符其实就是 shuffle,表示需要在集群上移动数据。很多时候HashAggregate 会以 Exchange 分隔开来。
3)Project 运算符是 SQL 中的投影操作,就是选择列(例如:select name, age…)。
4)BroadcastHashJoin 运算符表示通过基于广播方式进行 HashJoin。
5)LocalTableScan 运算符就是全表扫描本地的表。
案例实操
将提供的代码打成 jar 包,提交到 yarn 运行
spark-submit --master yarn --deploy-mode client --driver-memory 1g --num executors 3 --executor-cores 2 --executor-memory 4g --class
com.atguigu.sparktuning.explain.ExplainDemo spark-tuning-1.0-SNAPSHOT jar-with-dependencies.jar
备注:
sql 执行的用法:
explain select t1.id,t1.name,t2,score from test_1 t1 left join test_2 on t1.id =t2.id;
explain extended select t1.id,t1.name,t2,score from test_1 t1 left join test_2 on t1.id =t2.id;
代码
package com.atschool.sparktuning.explain
import com.atschool.sparktuning.utils.InitUtil
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object ExplainDemo {
def main( args: Array[String] ): Unit = {
val sparkConf = new SparkConf().setAppName("ExplainDemo")
// .setMaster("local[*]") //TODO 要打包提交集群执行,注释掉
val sparkSession: SparkSession = InitUtil.initSparkSession(sparkConf)
val sqlstr =
"""
|select
| sc.courseid,
| sc.coursename,
| sum(sellmoney) as totalsell
|from sale_course sc join course_shopping_cart csc
| on sc.courseid=csc.courseid and sc.dt=csc.dt and sc.dn=csc.dn
|group by sc.courseid,sc.coursename
""".stripMargin
sparkSession.sql("use sparktuning;")
// sparkSession.sql(sqlstr).show()
// while(true){}
println("=====================================explain()-只展示物理执行计划============================================")
sparkSession.sql(sqlstr).explain()
println("===============================explain(mode = \"simple\")-只展示物理执行计划=================================")
sparkSession.sql(sqlstr).explain(mode = "simple")
println("============================explain(mode = \"extended\")-展示逻辑和物理执行计划==============================")
sparkSession.sql(sqlstr).explain(mode = "extended")
println("============================explain(mode = \"codegen\")-展示可执行java代码===================================")
sparkSession.sql(sqlstr).explain(mode = "codegen")
println("============================explain(mode = \"formatted\")-展示格式化的物理执行计划=============================")
sparkSession.sql(sqlstr).explain(mode = "formatted")
}
}