Spark学习笔记整理 --- 2018-06-23【Spark本地Shell解析】

最新推荐文章于 2022-01-03 00:45:21 发布

杨鑫newlfe

最新推荐文章于 2022-01-03 00:45:21 发布

阅读量1.6k

点赞数

分类专栏： Scala 大数据挖掘与大数据应用案例文章标签： Spark Shell Scala

本文链接：https://blog.csdn.net/u012965373/article/details/80781627

版权

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

Scala

108 篇文章 5 订阅

订阅专栏

本文介绍了如何使用Spark Shell进行交互式学习和数据分析，详细阐述了Spark Shell的基本使用、运行模式选择，特别是本地模式的启动参数，如`--master local[4]`。此外，还提到了`--jars`参数用于添加依赖JAR包，以及通过`spark-shell --help`获取完整选项列表。

摘要由CSDN通过智能技术生成

在 Spark Shell 中运行代码
学习Spark程序开发，建议首先通过spark-shell交互式学习，加深Spark程序开发的理解。
这里介绍Spark Shell 的基本使用。Spark shell 提供了简单的方式来学习 API，并且提供了交互的方式来分析数据。你可以输入一条语句，Spark shell会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），为我们提供了交互式执行环境，表达式计算完成就会输出结果，而不必等到整个程序运行完毕，因此可即时查看中间结果，并对程序进行修改，这样可以在很大程度上提升开发效率。
Spark Shell 支持 Scala 和 Python，这里使用 Scala 来进行介绍。

现在我们直接开始使用Spark。
spark-shell命令及其常用的参数如下：

./bin/spark-shell --master <master-url>
Spark的运行模式取决于传递给SparkContext的Master URL的值。Master URL可以是以下任一种形式：
* local 使用一个Worker线程本地化运行SPARK(完全不并行)
* local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark
* local[K] 使用K个Worker线程本地化运

了解本专栏