4.在spark-shell中运行代码（华为云学习笔记，Spark编程基础，大数据）

最新推荐文章于 2024-04-12 02:48:17 发布

GC??

最新推荐文章于 2024-04-12 02:48:17 发布

阅读量2.1k

点赞数 1

分类专栏： Spark编程基础文章标签： spark big data 华为云

本文链接：https://blog.csdn.net/GCPOP/article/details/125218748

版权

本文介绍了如何在华为云环境下启动和使用Spark Shell进行交互式编程。内容包括Spark Shell的启动命令、运行模式选择以及如何在Shell中执行简单的Scala语句和文件操作，如统计文件行数。实验结论强调了掌握的知识点和解决的问题。

摘要由CSDN通过智能技术生成

在spark-shell中运行代码
① 能够使用正确的方式启动spark-shell；
② 能够在spark-shell中进行交互式编程。
实验原理
-> spark-shell
spark-shell提供了简单的方式来学习 API，并且提供了交互的方式来分析数据。你可以输入一条语句，spark-shell会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），它为我们提供了交互式执行环境，表达式计算完成以后就会立即输出结果，而不必等到整个程序运行完毕，因此可以即时查看中间结果并对程序进行修改，这样可以在很大程度上提升程序开发效率。spark-shell支持Scala和Python，由于Spark框架本身就是使用Scala语言开发的，所以，使用spark-shell命令会默认进入Scala的交互式执行环境。如果要进入Python的交互式执行环境，则需要执行pyspark命令。
-> spark-shell启动命令含义
在Linux终端中运行spark-shell命令，就可以启动进入spark-shell交互式执行环境。spark-shell命令及其常用的参数如下：
$ ./bin/spark-shell --master
Spark的运行模式取决于传递给SparkContext的的值。
可以是下表中的任一种形式。
（1）local。使用一个Worker线程本地化运行Spark（完全不并行）；
（2）local[]。使用与逻辑CPU个数