spark
文章平均质量分 83
q_j_c
只为记录成长。争取每天输出一点点,日有所积,月有所累。
展开
-
spark下的Task分发
spark下的Task分发文章目录spark下的Task分发前言一、Inbox类1.1 process方法。1.2 post方法。二、Dispatcher类2.1 构造器与成员变量2.2 postMessage方法2.3 MessageLoop方法三. outBox类3.1主要成员变量3.2主要的内部类3.2send方法3.2drainOutbox方法四. CoarseGrainedExecutorBackend3.1 onStart()方法3.2 receive方法五.CoarseGrained原创 2021-06-21 18:05:38 · 268 阅读 · 0 评论 -
spark app提交流程之cluster模式
二、yarn–cluster模式提交app省略相同部分的代码流程,直接进到差异的流程。2.1在hdp003节点提交app如下是以cluster 模式在hdp003节点提交app。2.2 然后cluster执行的代码会走这里2.3 反射调用YarnClusterApplication对象它也是通过反射的方式获取了YarnClusterApplication对象。然后调用了start方法。看一下2.3.1 YarnClusterApplication的start方法。2.3.2创建Cli原创 2021-06-19 18:43:53 · 454 阅读 · 2 评论 -
spark app提交流程之Client模式
spark提交app的流程。文章目录spark提交app的流程。前言一、yarn--client模式提交app1.1 SparkSubmit的main方法1.1.1 SparkSubmitArguments类1.1.1.1 parse方法1.1.2 根据action的行为决定执行对应的方法1.2 SparkSubmit的submit方法1.3 SparkSubmit的runMain方法。1.3.1.先执行准备提交环境方法。**1.4 prepareSubmitEnvironmen方法1.5 doPrep原创 2021-06-15 22:07:51 · 531 阅读 · 2 评论 -
spark SQL 表解析
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档SPARK前言一、spark sql的执行过程二、使用步骤1.引入库2.读入数据总结前言因为最近基于dolphinscheduler做二次开发,任务实例血缘的呈现存在某些场景与需求:要解析spark sql下的所有任务的输入与输出表,所以需要特地了解怎么提取提示:以下是本篇文章正文内容,下面案例可供参考一、spark sql的执行过程可以参看如下的文章:https://www.cnblogs.com/ulysses-you/原创 2021-02-26 16:54:23 · 950 阅读 · 4 评论