- 博客(3)
- 收藏
- 关注
原创 使用jmxtrans监控Spark JVM信息到grafana显示
1、下载jmxtransjmxtrans作为agent部署在需要采集数据的节点上,主要用于数据采集和发送.2、修改{jmxtrans}/conf下配置文件配置文件内容需要json格式,名字可自取。{ "servers" : [{ "port" : "8085", // 采集j...
2017-12-27 18:55:08 2931
原创 Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查
Spark ERROR: org.apache.spark.shuffle.FetchFailedException 问题追查
2017-12-11 11:59:48 9530
原创 Spark作业提交执行流程源码图
环境:代码图基于Spark 2.2.1 工具:OmniGraffe最近想完整梳理一下作业提交流程,通过自己的理解画图来学习Spark。1) 首先了解作业提交后RDD的流动情况如上图,以RDD构建的DAG给DAGScheduler进行stage划分,DAGScheduler负责stage层面的提交和失败处理。然后提交taskSet给TaskScheduler进行处理,TaskScheduler
2017-12-06 17:22:11 3677
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人