Spark集群的安装

5、Spark集群的安装

 

5.1、Spark版本的选择

三大主要版本：

Spark-0.X

Spark-1.X（主要 Spark-1.3 和 Spark-1.6）

Spark-2.X（最新 Spark-2.3） 

官网首页：http://spark.apache.org/downloads.html 

我们选择的版本：spark-2.3.0-bin-hadoop2.7.tgz 

 

5.2、Spark编译

自己用利用搜索引擎解决哈，小老弟。解决问题的能力，职场中也至关重要！

官网：http://spark.apache.org/docs/latest/building-spark.html 

 

5.3、Spark依赖环境

在官网文档中有一句话： 

 

5.4、安装JDK

大哥，我请大神教你安装，点一下就学会如何安装JDK啦！：https://blog.csdn.net/u012934325/article/details/73441617/

 

5.5、安装 Scala 

可以看我之前的文章哦，卧槽，看了就会系列的产品：https://blog.csdn.net/qq_42246689/article/details/85061436

 

5.6、安装Spark

5.6.1、Spark 分布式集群 

Spark 也是一个主从架构的分布式计算引擎。 主节点是 Master，从节点是 Worker

所以集群规划：

Server	Master	Worker
hadoop02	√	√
hadoop03		√
hadoop04		√
hadoop05		√

 

 

 

 

 

 

详细安装步骤：

1、上传下载好的 Spark 到集群中的一个节点，

比如是 hadoop05 put c:/spark-2.3.0-bin-hadoop2.7.tgz

2、使用之前安装 hadoop 集群相同的 hadoop 用户安装 spa