欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
在学习Spark的过程中,查看任务的DAG、stage、task等详细信息是学习的重要手段,在此做个小结;
环境信息
本文对应的环境信息如下:
- CentOS Linux release 7.5.1804
- JDK:1.8.0_191
- hadoop:2.7.7
- spark:2.3.2
参考文档(准备环境用到)
搭建hadoop、spark、运行耗时任务,请参考以下文章:
- on Yarn模式部署Spark集群:《部署Spark2.2集群(on Yarn模式)》
- 开发一个比较耗时的计算任务:《spark实战之:分析维基百科网站统计数据(java版)》
经过以上准备,我们就有了一个可以用的Spark集群环境,并且计算任务也准备好了。