spark任务shell运行_Spark原理与实战(六)-- Spark任务提交与运行

原标题：Spark原理与实战(六)-- Spark任务提交与运行

导读：前面我们介绍了关于spark编程的基础知识以及三个简单示例，那么应该怎么去调试或者提交运行spark程序呢？

作者：小舰 中国人民大学计算机硕士

来源：DLab数据实验室(ID：rucdlab)

Spark提供了两种运行的方式，一种是通过spark-shell的方式，另一种是通过IDE编译打包，然后通过spark-submit的方式提交运行.

一、spark-shell方式

spark-shell 是以一种交互式命令行方式将Spark应用程序跑在指定模式上，也可以通过Spark-submit提交指定运用程序，Spark-shell 底层调用的是Spark-submit,二者的使用参数一致的，通过- -help 查看参数：

上图所示的就是我们已经进入了命令行了，我们可以看到已经为我们创建好了两个重要的实例变量Spark Context(sc)和Spark Session(spark)，通过这两个变量我们可以进行一些操作。

同时，如果我们想