java spark 开发环境搭建_spark本地开发环境搭建（maven + scala + java）

开发工具和软件版本信息

IDEA

2019.2

JAVA

1.8

Scala

2.11.12

Spark

2.4.3

Hadoop

2.7.7

Windows

Win10专业版64位

Centos

7.5

部署Spark和Hadoop本地模式

1)下载spark和Hadoop

spark，选择pre_build版本，也就是编译好的版本

http://mirror.bit.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

Hadoop，注意下载和spark对应的版本

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

2)下载Scala

Spark2.4.3支持的Scala版本为2.12，因此我们下载2.12.8版本

https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.msi

直接双击安装，选择安装在 D:\software目录下面，然后一直点击下一步直到结束

3)以管理员身份运行winrar，把

hadoop-2.7.7.tar.gz 和 spark-2.4.3-bin-hadoop2.7.tgz解压到E:\bigdata\

得到下面两个目录：

E:\bigdata\hadoop-2.7.7

E:\bigdata\spark-2.4.3