spark源码
WQ同学
这个作者很懒,什么都没留下…
展开
-
spark2.0原理源码解析(一) : spark shell 脚本解析
之前对于spark , 主要是使用 没有太过深入的去了解底层原理 和 源码 ,在开发过程 ,发现遇到一些问题无从下手 ,准备投入源码的怀抱了 。先从spark-shell 开始相信许多人都 使用过spark-shell 那几天 来看看 spark-shell 我们运行那个脚本到底干了什么。下面给出spark-shell#!/usr/bin/env bash#先检测系统是否属于cygwin,...原创 2019-03-16 13:48:52 · 522 阅读 · 0 评论 -
spark2.0原理源码解析(二) : spark submit 脚本解析
从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本本篇来看下 spark submit 脚本实现。if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-homefi# disable randomized hash for string in Python 3...原创 2019-03-16 14:15:42 · 352 阅读 · 0 评论 -
spark2.0原理源码解析(三) : spark class 脚本解析
下面重点来了,上两篇中介绍到了 spark-shell spark-submit 实际上都是调用了 这个脚本,那这个脚本有什么神奇呢 我们来揭秘一下。不多说直接上脚本#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license ...原创 2019-03-16 16:52:44 · 464 阅读 · 0 评论