在spark-shell中运行代码
① 能够使用正确的方式启动spark-shell;
② 能够在spark-shell中进行交互式编程。
实验原理
-> spark-shell
spark-shell提供了简单的方式来学习 API,并且提供了交互的方式来分析数据。你可以输入一条语句,spark-shell会立即执行语句并返回结果,这就是我们所说的REPL(Read-Eval-Print Loop,交互式解释器),它为我们提供了交互式执行环境,表达式计算完成以后就会立即输出结果,而不必等到整个程序运行完毕,因此可以即时查看中间结果并对程序进行修改,这样可以在很大程度上提升程序开发效率。spark-shell支持Scala和Python,由于Spark框架本身就是使用Scala语言开发的,所以,使用spark-shell命令会默认进入Scala的交互式执行环境。如果要进入Python的交互式执行环境,则需要执行pyspark命令。
-> spark-shell启动命令含义
在Linux终端中运行spark-shell命令,就可以启动进入spark-shell交互式执行环境。spark-shell命令及其常用的参数如下:
$ ./bin/spark-shell --master
Spark的运行模式取决于传递给SparkContext的的值。
可以是下表中的任一种形式。
(1)local。使用一个Worker线程本地化运行Spark(完全不并行);
(2)local[]。使用与逻辑CPU个数
4.在spark-shell中运行代码(华为云学习笔记,Spark编程基础,大数据)
最新推荐文章于 2022-07-02 23:40:56 发布