- 博客(3)
- 收藏
- 关注
RSS订阅原创 使用jmxtrans监控Spark JVM信息到grafana显示
1、下载jmxtransjmxtrans作为agent部署在需要采集数据的节点上，主要用于数据采集和发送.2、修改{jmxtrans}/conf下配置文件配置文件内容需要json格式，名字可自取。{ "servers" : [{ "port" : "8085", // 采集j...
2017-12-27 18:55:08
2915
原创 Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查
Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查
2017-12-11 11:59:48
9506
原创 Spark作业提交执行流程源码图
环境：代码图基于Spark 2.2.1 工具：OmniGraffe最近想完整梳理一下作业提交流程，通过自己的理解画图来学习Spark。1） 首先了解作业提交后RDD的流动情况如上图，以RDD构建的DAG给DAGScheduler进行stage划分，DAGScheduler负责stage层面的提交和失败处理。然后提交taskSet给TaskScheduler进行处理，TaskScheduler
2017-12-06 17:22:11
3659
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人