spark源码
WQ同学
这个作者很懒,什么都没留下…
展开
-
spark2.0原理源码解析(一) : spark shell 脚本解析
之前对于spark , 主要是使用 没有太过深入的去了解底层原理 和 源码 ,在开发过程 ,发现遇到一些问题无从下手 ,准备投入源码的怀抱了 。 先从spark-shell 开始 相信许多人都 使用过spark-shell 那几天 来看看 spark-shell 我们运行那个脚本到底干了什么。下面给出spark-shell #!/usr/bin/env bash #先检测系统是否属于cygwin,...原创 2019-03-16 13:48:52 · 516 阅读 · 0 评论 -
spark2.0原理源码解析(二) : spark submit 脚本解析
从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本 本篇来看下 spark submit 脚本实现。 if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-home fi # disable randomized hash for string in Python 3...原创 2019-03-16 14:15:42 · 350 阅读 · 0 评论 -
spark2.0原理源码解析(三) : spark class 脚本解析
下面重点来了,上两篇中介绍到了 spark-shell spark-submit 实际上都是调用了 这个脚本,那这个脚本有什么神奇呢 我们来揭秘一下。 不多说直接上脚本 #!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license ...原创 2019-03-16 16:52:44 · 461 阅读 · 0 评论