Spark 调优之SparkUI详解

2019独角兽企业重金招聘Python工程师标准>>>

• Spark UI Environment

可以通过Spark-UI 的 Environment查看当前的参数设置情况（可以查到默认参数大小，也可以校验设置的参数是否生效了，没有的说明默认不限制)

image.png

• Spark UI SQL

  可以看spark ui上的sql，看看当前sql执行到里哪个阶段

image.png

点击上图的蓝色字体链接precessCmd at CliDriver.java:386 可以看具体的执行信息。一般执行完的阶段有metrics信息打出来，还么打的就是没有执行的

可以将鼠标移动到具体的节点查看物理执行计划，分析执行的具体是哪段sql，虽然有些乱，但是可以里面的内容还是我们写的sql

image.png

• Spark UI Stages

  每两次需要shuffle 操作之间是一个stage，如join，group by

  在这里可以看到spark 任务最重转换成rdd的stage信息，已完成的stage，正在执行的stage，跳过的stage

  点击蓝色字体可以跳转查看具体的Stage的DAG关系图

image.png

• Sparl UI Jobs

  这里是任务执行Job的信息，一个算子会出发一个job，比如count或者insert into等

  [图片上传失败...(image-59e2f5-1539069776961)]

  和stages,sql一样，这里有已完成的job，正在执行的job，点击蓝色字体可以跳转查看stage之间的DAG关系图

image.png

• Spark UI Executors

  这里是具体的Spark任务分配的每一个task的执行情况，点击可以进入yarn平台查看具体的日志信息，一般的错误日志都可以在driver的日志中查看，不过有些需要看具体的执行机，如内存溢出等。

  关于Executors的点比较多，具体可参考 https://www.jianshu.com/p/88e2f5dc190a

 

转载于:https://my.oschina.net/gordonnemo/blog/2876209