CentOS7 + Hadoop3.2.0 + Spark2.4.3搭建

搭建准备

首先 下载Spark安装包，注意如果之前搭建了Hadoop，要选择对应的的版本。
我之前搭建的是Hadoop 3.2.0伪分布式环境，因此下载spark包的时候，要选择Pre-build for Apache Hadoop 2.7 and later.

在/usr/local下创建spark文件夹，然后解压我们刚才下载的包。

[root@DW1 spark]# tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 
[root@DW1 spark]# ls
spark-2.4.3-bin-hadoop2.7  spark-2.4.3-bin-hadoop2.7.tgz

然后下载scala安装包（可选），我选择的是scala-2.11.6版本。
Spark虽然是用Scala语言实现的，但其实在搭建过程中并不需要手动安装scala包。这里选择安装是为了后续学习使用方便。
同样在/usr/local下创建scala文件夹，然后解压安装包。

[root@DW1 scala]#  tar -zxf scala-2.11.6.tgz
[root@DW1 scala]# ls