Spark
klinh
我很懒~ 没有简介
展开
-
Spark源码修改编译部署
源码修改: 利用IDEA修改源码、编译源码所在模块。 找到修改的源码生成的class文件在workspace中的位置。 将修改源码对应的模块从已安装好Spark集群的服务器上download下来。 用好压打开步骤3下载的jar包,将步骤2找到的class文件替换步骤3的jar包中的对应class文件。 再将修改的jar包上传回服务器。 源码部署: 将上述步骤生成的修改后的jar包上传至服务器,替换...原创 2020-02-29 21:22:03 · 813 阅读 · 0 评论 -
Spark源码2.4.2之超详细的Task提交的流程分析
当Job提交之后,就会生成DAG图,根据RDD的Dependency进行Stage的划分。stage分为ShuffleMapStage和ResultStage两种类型,根据stage类型生成对应的task,分别是ShuffleMapTask、ResultTask。我们从Stage的提交开始分析: 1. 首先对判断该Stage的父Stage是否已经提交执行,若没有则递归提交其父Stage,否则调用s...原创 2019-12-20 21:43:45 · 328 阅读 · 0 评论