〇、说明
1.Spark的部署模式主要有:
Local模式;
Standalone模式;
Yarn模式:yarn—client,yarn_master;
Mesos模式:Coarse-grained Mode,Fine-grained Mode。
整理了几篇说明性BLOG:
Spark集群三种部署模式的区别
Spark常用三种运行模式
spark的三种模式的详细运行过程
Spark Standalone架构设计要点分析
2.master与slave
spark on yarn 中没有master和slave,凡是涉及到两个角色的安装基本都是standalone模式。spark on yarn 仅仅需要按照以下步骤安装启动即可。分为spark on yarn-cluster和spark on yarn-client(区别自行百度,网上很多。)
一、准备
1.HDFS
2.YARN
3.JDK8
二、安装Scala
1.下载
官网下载(自己选择合适版本):