一、了解Spark的部署模式
(一)Standalone模式
Standalone模式被称为集群单机模式。该模式下,Spark集群架构为主从模式,即一台Master节点与多台Slave节点,Slave节点启动的进程名称为Worker,存在单点故障的问题。
(二)Mesos模式
Mesos模式被称为Spark on Mesos模式。Mesos是一款资源调度管理系统,为Spark提供服务,由于Spark与Mesos存在密切的关系,因此在设计Spark框架时充分考虑到对Mesos的集成。
(三)Yarn模式
Yarn模式被称为Spark on Yarn模式,即把Spark作为一个客户端,将作业提交给Yarn服务。由于在生产环境中,很多时候都要与Hadoop使用同一个集群,因此采用Yarn来管理资源调度,可以提高资源利用率。
三、搭建Spark单机版环境
(一)前提是安装配置好了JDK
查看JDK版本
(二)下载、安装与配置Spark
1、下载Spark安装包
- 官网下载页面:Downloads | Apache Spark