spark
文章平均质量分 90
comeOnBaby126
这个作者很懒,什么都没留下…
展开
-
spark源码解析之四、shuffle那些事儿
。。。。。原创 2021-03-15 10:21:25 · 322 阅读 · 0 评论 -
Spark算子学习之四、其他算子
双value算子原创 2021-03-06 21:36:19 · 201 阅读 · 0 评论 -
Spark算子学习之五、Key-Vaule算子
行动算子原创 2021-03-04 10:18:18 · 371 阅读 · 0 评论 -
spark源码解析之三、任务切分与运行
spark运行流程分为资源环境准备和任务提交运行两个步骤,两个步骤交叉进行,当前以任务提交为主线进行源码分析。资源环境准备线,可以参考spark源码解析之二、计算资源准备一、spark任务提交时序图本次源码跟踪是在yarn-cluster模式下的原码,在源码中只关注cluster模式,如果没有特殊说明,默认yarn-cluster模式。鉴于spark源码的复杂性,为了今后复习方便,按照时间先后顺序将spark应用启动的任务提交流程源码绘制时序图。在时序图中只是列举了重要的节点,与主题无关的类或者对象原创 2021-02-27 11:28:11 · 690 阅读 · 3 评论 -
spark源码解析之二、计算资源准备
spark运行流程分为资源环境准备和任务提交运行两个步骤,两个步骤交叉进行,当前以资源准备为主线进行源码分析。一、源码时序图二、源码详细分析1 org.apache.spark.deploy1.1 main def main(args: Array[String]): Unit = { //解析spark-submit命令提交的参数 val appArgs = new SparkSubmitArguments(args) if (appArgs.verbose) {原创 2021-02-24 19:05:09 · 515 阅读 · 0 评论 -
spark源码解析之一、整体概述
总体概述流程如下图原创 2021-02-24 19:03:52 · 291 阅读 · 0 评论 -
Spark算子学习之一、RDD和算子概述
spark 算子包含转换算子原创 2021-01-15 15:30:26 · 268 阅读 · 0 评论 -
sparkStreaming updateStateByKey + 优化
一、关于算子updateStateByKey参数问题:dataDS.updateStateByKey(updateFunction).print()/** * Return a new "state" DStream where the state for each key is updated by applying * the given function on the pre...原创 2020-03-23 21:02:07 · 187 阅读 · 0 评论