Spark集群安装部署

介绍

Spark部署由三种模式，本地集群（Standalone Cluster）、YARN、Mesos模式。本篇文章只介绍前两种环境搭建，Mesos没有使用经验。
Standalone：不依赖外部环境，只需要Spark环境即可运行
YARN：需要依赖Hadoop环境

环境准备

JDK8
Scala2.11.x
Zookeeper（Standalone HA高可用）
Spark安装包spark-2.1.1-bin-hadoop2.7.tgz下载
官方所有版本下载地址
三台物理节点

安装Scala

1、下载安装包
Scala2.12.2官方下载地址
2、解压

tar zxf scala-2.12.2.tgz

3、配置环境变量，修改/etc/profile文件

export SCALA_HOME=/home/hadmin/scala-2.12.2
export PATH=$SCALA_HOME/bin
//使配置生效
source /etc/profile

Standalone集群（HA）

部署本地集群高可用模式，在三台节点分布

节点	服务
node1	master、slave、zookeeper
node2	master、slave、zookeeper
node3	slave、zookeeper
1、解压安装包

tar zxf spark-2.1.1-bin-hadoop2.7.tgz

2、重命名这三个配置文件

mv spark-env.sh.templete spark-env.sh
mv spark-defaults.conf.templete spark-default.conf
mv slaves.templete slaves

3、修改spark-env.sh

SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=10002
SPARK_LOG_DIR=