目录
之前使用spark-shell,编写了一个word count程程序【初探Spark内核】Word Count程序的简单分析 ,spark-shell究竟都为我们做了些什么,下面就好好分析一下。
脚本分析
当我们输入指令“spark-shell”的时候,我们是调用了SPARK_HOME/bin/spark-shell脚本。这个脚本大致的调用过程是这样的:
spark-shell脚本中设置了main方法,做了一些准备工作后,这个方法执行了${SPARK_HOME}"/bin/spark-submit脚本:
spark-shell脚本的最后执行了main方法
spark-submit脚本中执行了${SPARK_HOME}"/bin/spark-class脚本