Spark 支持三种模式的部署方法,分别为standalone、yarn、mesoss,
这篇主要讲述yarn的部署方法
一、准备
1.1 说明:
- 选spark的时候要注意与hadoop版本对应;
- spark基于yarn来管理,spark只能安装在NodeManager节点上
1.2 服务器资源准备
本地已经搭建了7节点的hadoop(HA)集群
10.242.154.185 app201
10.242.154.186 app212
10.242.167.217 app211
10.242.167.218 app210
10.242.167.219 app209
10.242.167.220 app208
10.242.167.221 app207
1.3 安装包准备:
选择spark版本可以到官网下载安装包:
spark官网地址:http://spark.apache.org/downloads.html
我们使用的hadoop2.7.5,所以如图选择: