spark启动命令_最新版Spark v2.4.3详细安装过程以及Spark Shell命令行操作演示

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。它的特点是多个任务之间数据通信不需要借助硬盘而是通过内存，大大提高了程序的执行效率。

• Spark中间计算结果直接放到内存中，带来了更高的迭代运行效率。
• Spark基于DAG(Directed Acyclic Graph)的任务调度执行机制，要优于MapReduce的迭代执行机制。

下面详细介绍了Spark v2.4.3 最新版详细安装过程以及Spark Shell 命令行操作演示。

一、下载最新版Spark 安装文件

下载URL：

https://spark.apache.org/downloads.html

因为我们已经自己安装了Hadoop，这里选择Pre-build with user-provided Apache Hadoop，也就是使用自己已经安装的Hadoop。

Spark可以独立安装使用，也可以和Hadoop一起安装使用。这样，我们采用和Hadoop一起安装使用，这样就可以让Spark使用HDFS存取数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安装scala。

从spark官网下载超级慢，可以从国内镜像站点下载：

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/

执行如下下载命令：

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-without-hadoop.tgz

Spark Maven 依赖，之后开发Java 应用时会需要，可以先保存一下。

grou