spark集群的安装配置

在hadoop集群安装配置实现的情况下配置spark集群的方法：

系数	机器名	IP地址	hdfs角色	spark角色
1	x-88	x.x.104.88	dn	wk
2	x-89	x.x.104.89	dn	wk
3	x-90	x.x.104.90	nn	mt
4	x-91	x.x.104.91	dn	wk
5	x-92	1x.x.104.92	dn	wk
6	x-93	x.x.104.93	c

安装包下载

Spark安装包的下载地址为：

http://spark.apache.org/downloads.html

图2-1 Spark安装包下载页面

如图2-1所示，读者可以在交互界面上选择不同的安装包，安装包spark-2.4.7-bin-hadoop2.7.tgz对应的Spark版本为2.4.7，Hadoop版本为2.7。

本文相关安装包采用的是：JDK 1.8.0_181，Scala 2.11.12，Spark 2.4.0，Hadoop 2.7.7。

 

1. 安装包目录：

/home/KYJ/soft/spark-3.1.1-bin-hadoop2.7.tgz

/home/KYJ/soft/scala-2.12.11.tgz

1. 在soft文件目录下解压安装包：

使用命令：

tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz

tar -zxvf