Spark 基础解析 （二） spark的安装与配置

目录

一.Spark 安装地址

1.官网地址

2.文档查看地址

3.下载地址

二.Spark 运行模式

 三.Spark 安装

1.在官网下载spark安装包

2.上传至Linux环境并解压安装

3.修改配置文件

4.JobHistoryServer配置

5.启动

6.测试 

7.Spark Shell

下一节

---

一.Spark 安装地址

1.官网地址

http://spark.apache.org/

2.文档查看地址

https://spark.apache.org/docs/2.1.1/

3.下载地址

https://spark.apache.org/downloads.html

二.Spark 运行模式

1.Local 模式：Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

2.Standalone 模式：构建一个由 Master+Slave 构成的 Spark 集群，Spark 运行在集群中。

3.Yarn 模式：Spark 客户端直接连接Yarn,不需要额外构建 Spark 集群。有 yarn-client 和 yarn-cluster 两种模式，主要区别在于：Driver 程序的运行节点。

4.Mesos 模式：Spark 客户端直接连接 Mesos；不需要额外构建 Spark 集群。国内应用比较少，更多的是运用 yarn 调度。

几种模式比较：

 三.Spark 安装

这里只以 Standalone 模式为例，其他模式大同小异。

1.在官网下载spark安装包

https://spark.apache.org/downloads.html

2.上传至Linux环境并解压安装

#解压安装到指定目录
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/
#更改文件夹名方便使用
mv /opt/module/spa