spark 4040端口_查看Spark任务的详细信息

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结；

环境信息

本文对应的环境信息如下：

1. CentOS Linux release 7.5.1804
2. JDK：1.8.0_191
3. hadoop：2.7.7
4. spark：2.3.2

参考文档(准备环境用到)

搭建hadoop、spark、运行耗时任务，请参考以下文章：

1. on Yarn模式部署Spark集群：《部署Spark2.2集群(on Yarn模式)》
2. 开发一个比较耗时的计算任务：《spark实战之：分析维基百科网站统计数据(java版)》

经过以上准备，我们就有了一个可以用的Spark集群环境，并且计算任务也准备好了。

观察运行时任